📊 Associate Data Practitioner

Associate Data Practitioner 問題の一覧 › 1. データの準備と取り込み

オンプレミスの Hadoop 上で動作している既存の Apache Spark ジョブを、コードをほぼ変更せずに Google Cloud に移行したいと考えています。最適なサービスはどれですか。

  1. Dataflow（Apache Beam への書き直し）
  2. Dataproc
  3. BigQuery Data Transfer Service
  4. Dataform
💡 答えと解説を見る
答え：B（Dataproc）
Dataproc はマネージドの Spark/Hadoop 環境で、既存ジョブを最小限の変更で移行できます。Dataflow は Beam への書き換えが必要で、DTS と Dataform はそもそも Spark ジョブを実行するサービスではありません。
関連サービス
BigQuery Data Transfer ServiceSaaS（Google 広告等）・S3・Teradata からの定期転送。ノーコード
DataflowApache Beam ベースのマネージド処理基盤。バッチ＆ストリーミング統一、オートスケール
Dataprocマネージド Spark/Hadoop。既存ジョブの移行向け。ephemeral クラスタ推奨
DataformBigQuery の SQL 変換（ELT）を依存管理・テスト・バージョン管理付きで運用
← 前の問題次の問題 →🎯 問題で学ぶで解く

※ 学習用に作成したオリジナル問題です。本番試験とは異なります。