📊 Associate Data Practitioner

Associate Data Practitioner 問題の一覧 › 3. データパイプラインのオーケストレーション

Web アプリのクリックストリームをリアルタイムに集計し、ダッシュボードに数秒遅れで反映したい。データは Pub/Sub に流れている。最適なアーキテクチャはどれか。

  1. Cloud Scheduler で1時間ごとに BigQuery にロード
  2. Cloud Storage に保存して週次で処理
  3. 1日1回の Dataproc バッチジョブ
  4. Pub/Sub から Dataflow ストリーミングで集計し BigQuery に書き込む
💡 答えと解説を見る
答え：D（Pub/Sub から Dataflow ストリーミングで集計し BigQuery に書き込む）
低遅延が必要な場合は Pub/Sub と Dataflow ストリーミングパイプラインで連続処理し BigQuery に書き込むのが標準構成。日次・時間次・週次のバッチ処理は要件の遅延を満たせない。
関連サービス
Pub/Sub非同期メッセージング。ストリーミング取り込みの入口。at-least-once 配信、DLQ 対応
DataflowApache Beam ベースのマネージド処理基盤。バッチ＆ストリーミング統一、オートスケール
Dataprocマネージド Spark/Hadoop。既存ジョブの移行向け。ephemeral クラスタ推奨
Cloud Schedulerマネージド cron。HTTP/Pub/Sub/Workflows を定時起動
Cloud Storageオブジェクトストレージ。データレイク・着地点
← 前の問題次の問題 →🎯 問題で学ぶで解く

※ 学習用に作成したオリジナル問題です。本番試験とは異なります。