1. データの準備と取り込み

データ活用は 取り込み (Ingest) → 保存 (Store) → 変換 (Transform) → 分析 (Analyze) の流れで考えます。Google Cloud では、変換を BigQuery の外で行う ETL よりも、まず BigQuery にロードして SQL で変換する ELT が推奨される場面が多いです。

バッチ取り込みの基本は Cloud Storage にファイルを置き、BigQuery へロードジョブを実行することです。ロードジョブは無料（スロット共有プール利用）で、ストリーミング挿入は課金対象です。

bq load --source_format=PARQUET mydataset.sales gs://my-bucket/sales/*.parquet
bq load --autodetect --source_format=CSV --skip_leading_rows=1 mydataset.t gs://b/data.csv

• 書き込み設定：WRITE_APPEND（追記）／WRITE_TRUNCATE（置換）／WRITE_EMPTY（空のときのみ）
• ロードしたくない場合は 外部テーブル / BigLake テーブルで Cloud Storage を直接クエリ（性能は劣るが即時利用可）
• 大量ファイル転送：Storage Transfer Service（他クラウド・オンプレ→GCS）、Transfer Appliance（超大容量オフライン）

Pub/Sub はフルマネージドのメッセージングサービス（非同期・疎結合・at-least-once 配信）。パブリッシャーがトピックへ送信し、サブスクライバーがサブスクリプション経由で受信します。

• BigQuery サブスクリプション：Pub/Sub から BigQuery へ直接書き込み（Dataflow 不要）
• Cloud Storage サブスクリプション：メッセージをファイルとして GCS へ保存
• Pull / Push：Pull はサブスクライバーが取得、Push は HTTPS エンドポイントへ配信
• Dead-letter トピック：処理に失敗し続けるメッセージの退避先

Dataflow は Apache Beam ベースのフルマネージド処理基盤で、バッチとストリーミングを同じコードで扱えます。オートスケール、ウィンドウ処理（Fixed / Sliding / Session）、遅延データ（ウォーターマーク・トリガー）を扱えます。Google 提供のテンプレート（例：Pub/Sub → BigQuery、GCS Text → BigQuery）でコードなしでも実行可能です。

取り込み後は 品質確認 → クレンジング → 整形 を行います。主なデータ品質の観点：完全性（欠損）・一意性（重複）・正確性・一貫性（形式）・適時性。

CREATE OR REPLACE TABLE clean.orders AS
SELECT * EXCEPT(rn) FROM (
  SELECT *, ROW_NUMBER() OVER (PARTITION BY order_id ORDER BY updated_at DESC) rn
  FROM raw.orders)
WHERE rn = 1;

• Dataform：BigQuery 上の SQL 変換（ELT）をバージョン管理・依存関係管理・テスト（assertions）付きで運用
• Cloud Data Fusion の Wrangler／Dataproc の Spark：コード/GUI による変換
• Gemini in BigQuery：自然言語から SQL 生成・データ準備の支援

• パーティション：日付/タイムスタンプ列・取り込み時間・整数範囲で分割。パーティションプルーニングでスキャン量とコストを削減。require_partition_filter で全件スキャンを防止
• クラスタリング：最大4列で並べ替え。フィルタ/集計の高速化。パーティションと併用可
• パーティション向き：日付範囲での絞り込みが多い／クラスタ向き：カーディナリティが高い列でのフィルタ
• 非正規化・ネスト（STRUCT/ARRAY）：BigQuery では JOIN を減らす非正規化が有利
• ワイルドカードテーブルよりパーティションテーブルを推奨（シャーディングは避ける）

CREATE TABLE ds.events (ts TIMESTAMP, user_id STRING, type STRING)
PARTITION BY DATE(ts) CLUSTER BY user_id, type
OPTIONS (partition_expiration_days = 90, require_partition_filter = TRUE);

Dataproc は Spark / Hadoop / Hive / Flink 等のマネージドクラスタ。既存のオンプレ Hadoop/Spark ジョブを最小変更で移行したい場合に選びます。Dataproc Serverless ならクラスタ管理なしで Spark バッチを実行できます。ephemeral（使い捨て）クラスタ＋ Cloud Storage 保存（コンピュートとストレージの分離）がベストプラクティス。