Associate Data Practitioner 問題の一覧 › 1. データの準備と取り込み
Dataflow を使用するのに適したユースケースを2つ選択してください。
※ 該当するものをすべて選択(2つ)
- Pub/Sub からのストリーミングデータをウィンドウ集計して BigQuery に書き込む
- 大規模なバッチデータを Apache Beam で変換して Cloud Storage に出力する
- ノーコードの GUI だけで業務ユーザーが ETL を構築する
- 数行の SQL でテーブル間の変換と依存関係を管理する
- 物理デバイスでデータセンターからデータを移行する
💡 答えと解説を見る
答え:A・B(Pub/Sub からのストリーミングデータをウィンドウ集計して BigQuery に書き込む/大規模なバッチデータを Apache Beam で変換して Cloud Storage に出力する)
Dataflow は Apache Beam によるサーバーレスなバッチ・ストリーム処理に対応します。ノーコード GUI は Data Fusion、SQL ワークフロー管理は Dataform、物理移行は Transfer Appliance の用途です。
Dataflow は Apache Beam によるサーバーレスなバッチ・ストリーム処理に対応します。ノーコード GUI は Data Fusion、SQL ワークフロー管理は Dataform、物理移行は Transfer Appliance の用途です。
関連サービス
| Pub/Sub | 非同期メッセージング。ストリーミング取り込みの入口。at-least-once 配信、DLQ 対応 |
| Transfer Appliance | 超大容量(数百TB〜)をオフライン物理デバイスで転送 |
| Dataflow | Apache Beam ベースのマネージド処理基盤。バッチ&ストリーミング統一、オートスケール |
| Dataform | BigQuery の SQL 変換(ELT)を依存管理・テスト・バージョン管理付きで運用 |
| Cloud Storage | オブジェクトストレージ。データレイク・着地点 |
※ 学習用に作成したオリジナル問題です。本番試験とは異なります。