Associate Data Practitioner 問題の一覧 › 3. データパイプラインのオーケストレーション
データパイプラインの定義(DAG ファイルや Dataform のコード)を Git で管理し、変更をマージしたら自動的にテストして本番環境へデプロイしたい。適切なサービスの組み合わせはどれか。
- Cloud Build と Cloud Source Repositories/GitHub などのリポジトリ連携
- Cloud Monitoring のみ
- Cloud Scheduler と Pub/Sub のみ
- 手動で Cloud Storage にコピーする
💡 答えと解説を見る
答え:A(Cloud Build と Cloud Source Repositories/GitHub などのリポジトリ連携)
Cloud Build はリポジトリのトリガーでテストとデプロイ(例:Composer の DAG バケットへの配置)を自動化する CI/CD サービスである。Scheduler/Pub/Sub や Monitoring は CI/CD の機能を持たず、手動コピーは再現性に欠ける。
Cloud Build はリポジトリのトリガーでテストとデプロイ(例:Composer の DAG バケットへの配置)を自動化する CI/CD サービスである。Scheduler/Pub/Sub や Monitoring は CI/CD の機能を持たず、手動コピーは再現性に欠ける。
関連サービス
| Pub/Sub | 非同期メッセージング。ストリーミング取り込みの入口。at-least-once 配信、DLQ 対応 |
| Dataform | BigQuery の SQL 変換(ELT)を依存管理・テスト・バージョン管理付きで運用 |
| DAG | 有向非巡回グラフ。タスクと依存関係の定義(Airflow) |
| Cloud Scheduler | マネージド cron。HTTP/Pub/Sub/Workflows を定時起動 |
| Cloud Storage | オブジェクトストレージ。データレイク・着地点 |
※ 学習用に作成したオリジナル問題です。本番試験とは異なります。