📊 Associate Data Practitioner

Associate Data Practitioner 問題の一覧 › 3. データパイプラインのオーケストレーション

Pub/Sub にメッセージが届くたびに、軽量な変換処理を行って結果を BigQuery に書き込みたい。メッセージ量は少なく、運用負荷を最小にしたい。最適な方法はどれか。

  1. Cloud Composer の DAG を毎秒実行
  2. Compute Engine のバッチスクリプト
  3. Pub/Sub トリガーの Cloud Run functions を使う
  4. Dataproc クラスタを常時起動
💡 答えと解説を見る
答え：C（Pub/Sub トリガーの Cloud Run functions を使う）
少量で軽量な処理には Pub/Sub トリガーのサーバーレス関数が運用負荷もコストも小さい。Dataproc、Composer、GCE は過剰で運用負荷が高い。
関連サービス
Pub/Sub非同期メッセージング。ストリーミング取り込みの入口。at-least-once 配信、DLQ 対応
Dataprocマネージド Spark/Hadoop。既存ジョブの移行向け。ephemeral クラスタ推奨
Cloud Composerマネージド Airflow。DAG で複雑なパイプライン・依存・リトライを管理
DAG有向非巡回グラフ。タスクと依存関係の定義（Airflow）
Cloud Run functionsイベント駆動の軽量コード。重い処理は Dataflow/BigQuery へ
← 前の問題次の問題 →🎯 問題で学ぶで解く

※ 学習用に作成したオリジナル問題です。本番試験とは異なります。