📊 Associate Data Practitioner

Associate Data Practitioner 問題の一覧 › 3. データパイプラインのオーケストレーション

データパイプラインの定義(DAG ファイルや Dataform のコード)を Git で管理し、変更をマージしたら自動的にテストして本番環境へデプロイしたい。適切なサービスの組み合わせはどれか。

  1. Cloud Build と Cloud Source Repositories/GitHub などのリポジトリ連携
  2. Cloud Monitoring のみ
  3. Cloud Scheduler と Pub/Sub のみ
  4. 手動で Cloud Storage にコピーする
💡 答えと解説を見る
答え:A(Cloud Build と Cloud Source Repositories/GitHub などのリポジトリ連携)
Cloud Build はリポジトリのトリガーでテストとデプロイ(例:Composer の DAG バケットへの配置)を自動化する CI/CD サービスである。Scheduler/Pub/Sub や Monitoring は CI/CD の機能を持たず、手動コピーは再現性に欠ける。
関連サービス
Pub/Sub非同期メッセージング。ストリーミング取り込みの入口。at-least-once 配信、DLQ 対応
DataformBigQuery の SQL 変換(ELT)を依存管理・テスト・バージョン管理付きで運用
DAG有向非巡回グラフ。タスクと依存関係の定義(Airflow)
Cloud Schedulerマネージド cron。HTTP/Pub/Sub/Workflows を定時起動
Cloud Storageオブジェクトストレージ。データレイク・着地点
← 前の問題次の問題 →🎯 問題で学ぶで解く

※ 学習用に作成したオリジナル問題です。本番試験とは異なります。