Associate Data Practitioner 問題の一覧 › 3. データパイプラインのオーケストレーション
ストリーミングデータの処理で、再配信により同じメッセージが複数回届く可能性がある(at-least-once 配信)。結果の重複を防ぐ設計として適切なものはどれか。
- Ack を送らない
- メッセージが重複しないと仮定して設計する
- サブスクライバーを1台に限定する
- メッセージごとの一意 ID を使って重複排除する、または冪等な書き込みにする
💡 答えと解説を見る
答え:D(メッセージごとの一意 ID を使って重複排除する、または冪等な書き込みにする)
Pub/Sub は at-least-once 配信が基本のため、一意 ID による重複排除や冪等な書き込みで対処する(Dataflow は ID 属性で重複排除可能)。重複なしと仮定するのは誤りで、台数制限や Ack 未送信は問題を悪化させる。
Pub/Sub は at-least-once 配信が基本のため、一意 ID による重複排除や冪等な書き込みで対処する(Dataflow は ID 属性で重複排除可能)。重複なしと仮定するのは誤りで、台数制限や Ack 未送信は問題を悪化させる。
関連サービス
| Pub/Sub | 非同期メッセージング。ストリーミング取り込みの入口。at-least-once 配信、DLQ 対応 |
| Dataflow | Apache Beam ベースのマネージド処理基盤。バッチ&ストリーミング統一、オートスケール |
※ 学習用に作成したオリジナル問題です。本番試験とは異なります。