Associate Data Practitioner 問題の一覧 › 3. データパイプラインのオーケストレーション
Dataflow のストリーミングパイプラインで、遅れて到着するイベントを正しく集計するために使う概念を3つ選択してください(3つ選択)。
※ 該当するものをすべて選択(3つ)
- イベント時間(event time)での処理
- 許容遅延(allowed lateness)とトリガー
- ウォーターマーク
- 処理時間のみに基づく固定集計
- ジョブを毎回停止して再起動すること
💡 答えと解説を見る
答え:A・B・C(イベント時間(event time)での処理/許容遅延(allowed lateness)とトリガー/ウォーターマーク)
遅延データへの対処にはイベント時間、ウォーターマーク(完全性の推定)、許容遅延とトリガーを組み合わせる。処理時間のみの集計では遅延データが誤った窓に入り、ジョブ再起動は解決策にならない。
遅延データへの対処にはイベント時間、ウォーターマーク(完全性の推定)、許容遅延とトリガーを組み合わせる。処理時間のみの集計では遅延データが誤った窓に入り、ジョブ再起動は解決策にならない。
関連サービス
| Dataflow | Apache Beam ベースのマネージド処理基盤。バッチ&ストリーミング統一、オートスケール |
| ウォーターマーク | イベント時間の進捗の目安。遅延データの扱いを決める |
※ 学習用に作成したオリジナル問題です。本番試験とは異なります。