Associate Data Practitioner 問題の一覧 › 3. データパイプラインのオーケストレーション
毎日午前2時に、BigQuery のスクリプトを1つだけ実行して集計テーブルを更新したい。追加のインフラや運用負荷を最小にする方法はどれか。
- BigQuery のスケジュールされたクエリ(Data Transfer Service)を設定する
- Dataflow のストリーミングジョブを常時稼働させる
- Cloud Composer 環境を構築して DAG を作成する
- Compute Engine に cron を設定する
💡 答えと解説を見る
答え:A(BigQuery のスケジュールされたクエリ(Data Transfer Service)を設定する)
単一クエリの定期実行は BigQuery のスケジュールされたクエリが最も簡単でサーバー管理も不要。Composer や GCE cron は過剰で運用負荷が高く、Dataflow ストリーミングは用途が異なる。
単一クエリの定期実行は BigQuery のスケジュールされたクエリが最も簡単でサーバー管理も不要。Composer や GCE cron は過剰で運用負荷が高く、Dataflow ストリーミングは用途が異なる。
関連サービス
| Dataflow | Apache Beam ベースのマネージド処理基盤。バッチ&ストリーミング統一、オートスケール |
| Cloud Composer | マネージド Airflow。DAG で複雑なパイプライン・依存・リトライを管理 |
| DAG | 有向非巡回グラフ。タスクと依存関係の定義(Airflow) |
※ 学習用に作成したオリジナル問題です。本番試験とは異なります。