📊 Associate Data Practitioner

Associate Data Practitioner 問題の一覧 › 1. データの準備と取り込み

BigQuery 内の複数の SQL 変換をテーブル間の依存関係を管理しながら定義し、Git でバージョン管理し、データ品質のアサーションも書きたいと考えています。最適なツールはどれですか。

  1. Dataform
  2. Dataflow
  3. Cloud Data Fusion
  4. Dataproc Serverless
💡 答えと解説を見る
答え：A（Dataform）
Dataform は SQLX で BigQuery 内の変換（ELT）を依存関係付きで管理でき、Git 連携とアサーションに対応します。Dataflow や Dataproc はコードベースの大規模処理、Data Fusion は GUI の ETL で、SQL ワークフロー管理が主目的ではありません。
関連サービス
DataflowApache Beam ベースのマネージド処理基盤。バッチ＆ストリーミング統一、オートスケール
Dataprocマネージド Spark/Hadoop。既存ジョブの移行向け。ephemeral クラスタ推奨
Dataproc Serverlessクラスタ管理不要で Spark バッチを実行
Cloud Data FusionGUI ノーコード ETL/ELT（CDAP）。Wrangler でデータ整形
DataformBigQuery の SQL 変換（ELT）を依存管理・テスト・バージョン管理付きで運用
← 前の問題次の問題 →🎯 問題で学ぶで解く

※ 学習用に作成したオリジナル問題です。本番試験とは異なります。