📊 Associate Data Practitioner

Associate Data Practitioner 問題の一覧 › 1. データの準備と取り込み

IoT デバイスから毎秒大量のイベントが送信されます。イベントをバッファリングし、ウィンドウ集計などの変換を行った上で BigQuery にほぼリアルタイムで格納したい場合、適切な構成はどれですか。

  1. Cloud Storage に保存し、毎週 bq load を実行する
  2. Pub/Sub で受信し、Dataflow ストリーミングパイプラインで処理して BigQuery に書き込む
  3. Cloud SQL に直接書き込み、フェデレーテッドクエリで参照する
  4. Transfer Appliance でデータを定期的に送る
💡 答えと解説を見る
答え：B（Pub/Sub で受信し、Dataflow ストリーミングパイプラインで処理して BigQuery に書き込む）
Pub/Sub が取り込みのバッファとなり、Dataflow がウィンドウ処理などのストリーム変換を行えます。週次ロードはリアルタイム性を満たさず、Cloud SQL は大量イベントに不向き、Transfer Appliance はオフライン大容量移行用です。
関連サービス
Pub/Sub非同期メッセージング。ストリーミング取り込みの入口。at-least-once 配信、DLQ 対応
Transfer Appliance超大容量（数百TB〜）をオフライン物理デバイスで転送
bq loadCloud Storage 等のファイルを BigQuery へロード（ロードジョブは無料）
DataflowApache Beam ベースのマネージド処理基盤。バッチ＆ストリーミング統一、オートスケール
Cloud Storageオブジェクトストレージ。データレイク・着地点
← 前の問題次の問題 →🎯 問題で学ぶで解く

※ 学習用に作成したオリジナル問題です。本番試験とは異なります。