📊 Associate Data Practitioner

Associate Data Practitioner 問題の一覧 › 1. データの準備と取り込み

Pub/Sub は少なくとも1回（at-least-once）の配信を保証するため、サブスクライバーが同じメッセージを複数回受信する可能性があります。BigQuery へ重複なく格納するために適切な対応はどれですか。

  1. Pub/Sub のメッセージ保持期間を短くする
  2. Dataflow のパイプラインで一意の ID を使って重複排除する
  3. サブスクリプションを削除して再作成する
  4. BigQuery 側のテーブルにプライマリキー制約を設定すれば自動で重複排除される
💡 答えと解説を見る
答え：B（Dataflow のパイプラインで一意の ID を使って重複排除する）
Dataflow でメッセージの一意 ID（レコードキー）を用いた重複排除を行うのが一般的です。保持期間の変更では重複は防げず、BigQuery の主キー制約は強制されない参照情報のため重複を拒否しません。
関連サービス
Pub/Sub非同期メッセージング。ストリーミング取り込みの入口。at-least-once 配信、DLQ 対応
DataflowApache Beam ベースのマネージド処理基盤。バッチ＆ストリーミング統一、オートスケール
← 前の問題次の問題 →🎯 問題で学ぶで解く

※ 学習用に作成したオリジナル問題です。本番試験とは異なります。