📊 Associate Data Practitioner

Associate Data Practitioner 問題の一覧 › 3. データパイプラインのオーケストレーション

ストリーミングデータの処理で、再配信により同じメッセージが複数回届く可能性がある(at-least-once 配信)。結果の重複を防ぐ設計として適切なものはどれか。

  1. Ack を送らない
  2. メッセージが重複しないと仮定して設計する
  3. サブスクライバーを1台に限定する
  4. メッセージごとの一意 ID を使って重複排除する、または冪等な書き込みにする
💡 答えと解説を見る
答え:D(メッセージごとの一意 ID を使って重複排除する、または冪等な書き込みにする)
Pub/Sub は at-least-once 配信が基本のため、一意 ID による重複排除や冪等な書き込みで対処する(Dataflow は ID 属性で重複排除可能)。重複なしと仮定するのは誤りで、台数制限や Ack 未送信は問題を悪化させる。
関連サービス
Pub/Sub非同期メッセージング。ストリーミング取り込みの入口。at-least-once 配信、DLQ 対応
DataflowApache Beam ベースのマネージド処理基盤。バッチ&ストリーミング統一、オートスケール
← 前の問題次の問題 →🎯 問題で学ぶで解く

※ 学習用に作成したオリジナル問題です。本番試験とは異なります。