Associate Data Practitioner 問題の一覧 › 3. データパイプラインのオーケストレーション
Airflow の DAG で、外部システムが特定のファイルを Cloud Storage に置くまで待ってから後続の変換タスクを実行したい。使うべき Airflow の要素はどれか。
- Sensor(例:GCSObjectExistenceSensor)
- XCom
- Hook のみ
- Pool
💡 答えと解説を見る
答え:A(Sensor(例:GCSObjectExistenceSensor))
Sensor は条件が満たされるまで待機する特殊なオペレーターで、GCS のオブジェクト存在を待つ GCSObjectExistenceSensor がある。Hook は接続用の部品、XCom はタスク間の小データ受け渡し、Pool は同時実行数の制限であり待機の用途ではない。
Sensor は条件が満たされるまで待機する特殊なオペレーターで、GCS のオブジェクト存在を待つ GCSObjectExistenceSensor がある。Hook は接続用の部品、XCom はタスク間の小データ受け渡し、Pool は同時実行数の制限であり待機の用途ではない。
関連サービス
| DAG | 有向非巡回グラフ。タスクと依存関係の定義(Airflow) |
| Cloud Storage | オブジェクトストレージ。データレイク・着地点 |
※ 学習用に作成したオリジナル問題です。本番試験とは異なります。