Associate Data Practitioner 問題の一覧 › 3. データパイプラインのオーケストレーション
数十個のタスクが依存関係を持ち、失敗時のリトライ、バックフィル、複数システムとの連携が必要なデータパイプラインを、Python で定義して管理したい。最適なサービスはどれか。
- Pub/Sub
- Cloud Scheduler
- Eventarc
- Cloud Composer
💡 答えと解説を見る
答え：D（Cloud Composer）
Cloud Composer は Apache Airflow のマネージドサービスで、Python の DAG により複雑な依存関係、リトライ、バックフィル、スケジューリングを管理できる。Cloud Scheduler は単純な cron 起動のみ、Eventarc はイベントルーティング、Pub/Sub はメッセージングで、いずれも DAG 管理機能は持たない。
Cloud Composer は Apache Airflow のマネージドサービスで、Python の DAG により複雑な依存関係、リトライ、バックフィル、スケジューリングを管理できる。Cloud Scheduler は単純な cron 起動のみ、Eventarc はイベントルーティング、Pub/Sub はメッセージングで、いずれも DAG 管理機能は持たない。
関連サービス
| Pub/Sub | 非同期メッセージング。ストリーミング取り込みの入口。at-least-once 配信、DLQ 対応 |
| Cloud Composer | マネージド Airflow。DAG で複雑なパイプライン・依存・リトライを管理 |
| DAG | 有向非巡回グラフ。タスクと依存関係の定義（Airflow） |
| Cloud Scheduler | マネージド cron。HTTP/Pub/Sub/Workflows を定時起動 |
| Eventarc | イベント（GCS 到着等）を Cloud Run 等へルーティング |
※ 学習用に作成したオリジナル問題です。本番試験とは異なります。