📊 Associate Data Practitioner

Associate Data Practitioner 問題の一覧 › 1. データの準備と取り込み

アプリケーションが Pub/Sub に JSON イベントを発行しています。変換が不要で、追加のコード・Dataflow なしにそのまま BigQuery に格納したい場合、最もシンプルな方法はどれですか。

  1. Pub/Sub の BigQuery サブスクリプションを作成する
  2. Dataproc のストリーミングジョブを使う
  3. Cloud Composer で毎分 DAG を実行する
  4. Datastream のストリームを作成する
💡 答えと解説を見る
答え：A（Pub/Sub の BigQuery サブスクリプションを作成する）
Pub/Sub の BigQuery サブスクリプションなら、メッセージを直接 BigQuery テーブルに書き込めます。Dataproc や Composer は過剰で、Datastream は DB の CDC 用でありトピックのメッセージは対象外です。
関連サービス
Pub/Sub非同期メッセージング。ストリーミング取り込みの入口。at-least-once 配信、DLQ 対応
Datastreamサーバーレス CDC。MySQL/PostgreSQL/Oracle 等から BigQuery・GCS へ継続レプリケーション
DataflowApache Beam ベースのマネージド処理基盤。バッチ＆ストリーミング統一、オートスケール
Dataprocマネージド Spark/Hadoop。既存ジョブの移行向け。ephemeral クラスタ推奨
Cloud Composerマネージド Airflow。DAG で複雑なパイプライン・依存・リトライを管理
← 前の問題次の問題 →🎯 問題で学ぶで解く

※ 学習用に作成したオリジナル問題です。本番試験とは異なります。