📊 Associate Data Practitioner

Associate Data Practitioner 問題の一覧 › 1. データの準備と取り込み

毎日深夜に Cloud Storage へ出力される数十GBのCSVファイルを BigQuery テーブルに取り込みます。追加のコンピューティング費用を最小限にしたい場合、最適な方法はどれですか。

  1. Dataflow ストリーミングジョブでファイルを1行ずつ挿入する
  2. Cloud Functions で tabledata.insertAll API を使い行ごとに挿入する
  3. BigQuery のロードジョブ（bq load）をスケジュール実行する
  4. Dataproc クラスタを毎日作成して Spark で書き込む
💡 答えと解説を見る
答え：C（BigQuery のロードジョブ（bq load）をスケジュール実行する）
BigQuery のバッチロードジョブは共有スロットを使い、取り込み自体に追加料金がかかりません。ストリーミング挿入や Dataflow、Dataproc は別途コストが発生し、このバッチ用途には過剰です。
関連サービス
bq loadCloud Storage 等のファイルを BigQuery へロード（ロードジョブは無料）
DataflowApache Beam ベースのマネージド処理基盤。バッチ＆ストリーミング統一、オートスケール
Dataprocマネージド Spark/Hadoop。既存ジョブの移行向け。ephemeral クラスタ推奨
Cloud Storageオブジェクトストレージ。データレイク・着地点
次の問題 →🎯 問題で学ぶで解く

※ 学習用に作成したオリジナル問題です。本番試験とは異なります。