データ収集

コンポーネントについて

コンポ―ネント	内容
Parquet	列指向のバイナリ形式のデータファイル
DuckDB	手元で動く小さなDWH / Parquet/CSVに強い(ローカル向け)
BigQuery	マネージド型の DWH（データウェアハウス）
ClickHouse	列指向DBの代表格（超高速集計、リアルタイム分析）
Apache Druid	時系列分析やダッシュボード用途に強い / Supersetと相性がよい
Apache Pinot	Druidに似ていて、リアルタイム分析に特化（広告配信やA/Bテスト分析など）
Jupyter Notebook
Metabase
Superset

DuckDB(クエリエンジン)

軽量・組み込み型の分析データベース SQLiteが「小さなトランザクションDB」なら、DuckDBは「小さなOLAPエンジン」。

イメージとしては以下の通りです。

SQLite：小さなアプリ用に最適化されたトランザクションDB DuckDB：データ分析のために最適化された組み込みエンジン

サーバ不要
- 1つのライブラリ／プロセスで動く。インストールもシンプル（Python, CLI, R, C/C++など）
列指向ストレージ：大量データのスキャンや集計に強い。
外部ファイルを直接クエリできるのが大きな特徴。

ユースケース

毎月の CSVやParquetを置くだけで分析
Jupyter NotebookやPythonスクリプトの中で即席SQLエンジンとして活用
BIツール（Metabase / Superset / Tableau）に接続してレポート化

Parquet

Parquet（パーケイ）は列指向のバイナリ形式のデータファイルです。 Apache が開発したオープンフォーマットで、ビッグデータ処理や分析用に広く使われています。

Parquet のファイル拡張子は .parquet(例: logs_2025_09.parquet)
列指向フォーマット
圧縮効率が高い
- 列ごとに同じ型・似た値が並ぶため、圧縮（Snappy/Zstd/Gzipなど）が効きやすい
CSVは全部テキスト扱いだが、Parquetはカラムごとに「整数」「浮動小数」「日付」などの型を保持
park / Hive / Presto / BigQuery / Snowflake / DuckDB / Pandas など、ほとんどの分析基盤がネイティブ対応

CSV(行)

id,name,age
1,Alice,24
2,Bob,30
3,Charlie,28

Parquet (列指向・バイナリ)

id:  [1,2,3]
name:[Alice,Bob,Charlie]
age: [24,30,28]

BigQuery

マネージド型の DWH（データウェアハウス）で提供元はGoogle Cloudです

サーバ運用不要（完全マネージド）
データを GCS に置いて「外部テーブル」でクエリも可能
料金はストレージ＋スキャンしたデータ量に応じて課金。
同時接続や大規模並列処理が強く、Looker StudioなどBIツールと相性抜群。
無料プラン
- 毎月ストレージ部分で少量(例 10GB)まで無料の枠がある。
- クエリ処理も、毎月一定量(例 1TB の処理量)まで無料。

ユースケース

数百GB〜PB規模のデータをクラウドでガッツリ分析したいとき。
運用を省きたいとき

ClickHouse

列指向DBの代表格（超高速集計、リアルタイム分析）ログ分析、イベントデータ処理に強い。

システム構成

1. CSV

PoCならCSVのみで運用することも多々あります

運用ルールとしてよくあるのは以下のようなものです

ディレクトリは y=YYYY/m=MM[/d=DD] のHive風で粒度を切る
ファイル名は日付＋ソース＋バージョンを含める 例: events_2025-09-13_sourceA_v1.csv
スキーマ/品質
- スキーマ表用意（列名・型・必須/NULL・説明）
- 区切り・エンコーディング(UTF-8)・改行コード(LF) を固定
- ヘッダ1行固定、列順は変えない（変えるなら列マップを同梱）
- NULLは "" or 明示トークン（NULL）で統一
- タイムスタンプは ISO 8601 (UTC推奨)：2025-09-13T00:00:00Z

2. CSV + DuckDB + （Parquet）

運用する際にディレクトリ構成に設計が必要になります。

ディレクトリ設計例

data/
  raw_csv/
    y=2025/m=09/*.csv             # “年/月”で月次パーティション
  parquet/
    y=2025/m=09/*.parquet         # 変換先（後述のバッチで作る）
duckdb/
  lake.duckdb                      # メタ・ビュー定義だけを持つDBファイル

3. (列指向DWH) ClickHouse/Apache Druid/Apache Pinot

ClickHouse / Apache Druid / Apache Pinot は、CSV以外のフォーマットやストリームからそのまま取り込みできますし、直接INSERTや外部ファイルを直接クエリも可能です基本は直接で速い・型が保てる・圧縮効率がよく・読み取りコスト低い

5.6 KiB Raw Blame History Unescape Escape