📊 Associate Data Practitioner

Associate Data Practitioner 問題の一覧 › 3. データパイプラインのオーケストレーション

Dataform ワークフローの特徴として適切なものを2つ選択してください（2つ選択）。

※ 該当するものをすべて選択（2つ）
  1. オンプレミス DB の CDC を行う
  2. SQLX で定義したテーブルやビュー間の依存関係を自動で解決して実行する
  3. アサーション（データ品質チェック）を定義できる
  4. ストリーミングデータを秒単位で処理する
  5. Spark ジョブを管理するクラスタを提供する
💡 答えと解説を見る
答え：B・C（SQLX で定義したテーブルやビュー間の依存関係を自動で解決して実行する／アサーション（データ品質チェック）を定義できる）
Dataform は依存関係の自動解決とアサーションによる品質チェックを提供し、BigQuery 内の ELT に適する。Spark は Dataproc、ストリーミングは Dataflow、CDC は Datastream の役割である。
関連サービス
Datastreamサーバーレス CDC。MySQL/PostgreSQL/Oracle 等から BigQuery・GCS へ継続レプリケーション
DataflowApache Beam ベースのマネージド処理基盤。バッチ＆ストリーミング統一、オートスケール
Dataprocマネージド Spark/Hadoop。既存ジョブの移行向け。ephemeral クラスタ推奨
DataformBigQuery の SQL 変換（ELT）を依存管理・テスト・バージョン管理付きで運用
← 前の問題次の問題 →🎯 問題で学ぶで解く

※ 学習用に作成したオリジナル問題です。本番試験とは異なります。