Associate Data Practitioner 問題の一覧 › 3. データパイプラインのオーケストレーション
オンプレミスの MySQL の変更データ(INSERT/UPDATE/DELETE)を、ほぼリアルタイムに BigQuery へ継続的に複製したい。コーディングを最小にできるサービスはどれか。
- Cloud Scheduler
- Dataprep
- Transfer Appliance
- Datastream
💡 答えと解説を見る
答え:D(Datastream)
Datastream はサーバーレスの CDC(変更データキャプチャ)サービスで、MySQL などから BigQuery や Cloud Storage へ変更を継続的に複製できる。Scheduler はジョブ起動のみ、Dataprep はデータ整形ツール、Transfer Appliance は物理的な大容量データ移送用である。
Datastream はサーバーレスの CDC(変更データキャプチャ)サービスで、MySQL などから BigQuery や Cloud Storage へ変更を継続的に複製できる。Scheduler はジョブ起動のみ、Dataprep はデータ整形ツール、Transfer Appliance は物理的な大容量データ移送用である。
関連サービス
| Datastream | サーバーレス CDC。MySQL/PostgreSQL/Oracle 等から BigQuery・GCS へ継続レプリケーション |
| Transfer Appliance | 超大容量(数百TB〜)をオフライン物理デバイスで転送 |
| Cloud Scheduler | マネージド cron。HTTP/Pub/Sub/Workflows を定時起動 |
| Cloud Storage | オブジェクトストレージ。データレイク・着地点 |
※ 学習用に作成したオリジナル問題です。本番試験とは異なります。