Associate Data Practitioner 問題の一覧 › 3. データパイプラインのオーケストレーション
データエンジニアが書いたものではないチームメンバーが、パラメータ(入力パス、出力テーブル)だけ変えて同じ Dataflow パイプラインを繰り返し実行したい。コード変更や開発環境のセットアップを不要にするにはどうすべきか。
- Cloud Shell で手動実行してもらう
- ジョブを毎回新規に GUI で設計する
- Dataflow テンプレート(Flex Template や Google 提供テンプレート)を使う
- 毎回ソースコードを渡してビルドしてもらう
💡 答えと解説を見る
答え:C(Dataflow テンプレート(Flex Template や Google 提供テンプレート)を使う)
Dataflow テンプレートはパイプラインをパッケージ化し、パラメータ指定のみで実行できるため、開発環境なしで再利用可能。ソースを渡す方法や手動実行は再現性と効率に欠ける。
Dataflow テンプレートはパイプラインをパッケージ化し、パラメータ指定のみで実行できるため、開発環境なしで再利用可能。ソースを渡す方法や手動実行は再現性と効率に欠ける。
関連サービス
| Dataflow | Apache Beam ベースのマネージド処理基盤。バッチ&ストリーミング統一、オートスケール |
| Dataflow テンプレート | コード不要で実行できる定型パイプライン(Pub/Sub→BigQuery など) |
※ 学習用に作成したオリジナル問題です。本番試験とは異なります。