📊 Associate Data Practitioner

Associate Data Practitioner 問題の一覧 › 3. データパイプラインのオーケストレーション

毎日 Cloud Storage の CSV を BigQuery にロードするパイプラインが、障害後に再実行されると重複行が発生する。冪等性を確保するための最適な設計はどれか。

  1. ロードジョブで WRITE_APPEND を使い、再実行時は手動で重複を削除する
  2. ロード前にテーブル全体を毎回削除する運用を手動で行う
  3. 実行日のパーティションに対して WRITE_TRUNCATE でロードする（パーティションデコレータ指定）
  4. 再実行を禁止する
💡 答えと解説を見る
答え：C（実行日のパーティションに対して WRITE_TRUNCATE でロードする（パーティションデコレータ指定））
対象日のパーティションを WRITE_TRUNCATE で上書きすれば、何度再実行しても結果が同じになり冪等になる。WRITE_APPEND は重複を生み、再実行禁止や手動削除は運用上の信頼性を損なう。
関連サービス
冪等性 (Idempotency)再実行しても結果が重複しない設計。MERGE・上書き・一意キー
パーティション日付/整数範囲/取り込み時間で分割。スキャン量・コスト削減
Cloud Storageオブジェクトストレージ。データレイク・着地点
← 前の問題次の問題 →🎯 問題で学ぶで解く

※ 学習用に作成したオリジナル問題です。本番試験とは異なります。