title: "企業データ基盤の構築方法|DWH・データレイクの設計とクラウド活用ガイド"
slug: "hubspot-ai/data-legacy/data-platform-dwh-datalake"
metaDescription: "企業のデータ基盤(DWH・データレイク)の構築方法を解説。BigQuery、Snowflake等のクラウドDWH比較、アーキテクチャ設計、データパイプラインの構築手順をまとめます。"
featuredImage: "https://www.start-link.jp/hubfs/blog-featured-images/dx.webp"
blogAuthorId: "166212808307"
contentGroupId: "166203508570"
keywords: ["データ基盤", "DWH", "データレイク", "BigQuery", "Snowflake", "データウェアハウス"]
category: "BC_data-legacy"
DXの推進に伴い、CRM、ERP、MA、Webアナリティクスなど多数のシステムにデータが分散する企業が増えています。各システムのデータを統合的に分析するには、全社データを集約する「データ基盤」の構築が不可欠です。
データ基盤とは、企業内の様々なデータソースからデータを収集・統合・蓄積し、分析・活用できる状態にするための技術基盤です。本記事では、DWH(データウェアハウス)とデータレイクの違い、クラウドDWHの選定、データパイプラインの構築方法を解説します。
DWHとデータレイクの違い
| 比較項目 |
DWH |
データレイク |
| データの種類 |
構造化データ |
構造化+半構造化+非構造化 |
| スキーマ |
事前定義(Schema on Write) |
利用時定義(Schema on Read) |
| 用途 |
定型的な分析・レポーティング |
探索的分析、機械学習 |
| データ品質 |
クレンジング済みの高品質データ |
生データを含む |
| ユーザー |
経営層、ビジネスアナリスト |
データサイエンティスト、エンジニア |
| コスト |
中〜高 |
低〜中 |
近年は両者の境界が曖昧になり、「レイクハウス」と呼ばれるDWHとデータレイクを統合したアーキテクチャが主流になりつつあります(Databricks、Delta Lake等)。
クラウドDWHの主要製品比較
| 製品 |
提供元 |
特徴 |
価格モデル |
適する企業 |
| BigQuery |
Google Cloud |
サーバーレス、SQL対応、高速 |
従量課金(クエリ量) |
全規模 |
| Snowflake |
Snowflake |
マルチクラウド、コンピュートとストレージ分離 |
従量課金(使用量) |
中堅〜大企業 |
| Amazon Redshift |
AWS |
AWS統合、高パフォーマンス |
固定+従量 |
AWS環境の企業 |
| Azure Synapse |
Microsoft |
Microsoft統合、PaaS |
従量課金 |
Microsoft環境の企業 |
中小企業への推奨
多くの中小企業にはBigQueryが最も適しています。理由は:
- サーバーレスで運用管理が不要
- 月10GBまでのストレージと1TBまでのクエリが無料
- Looker Studioとの統合でBIダッシュボードが構築しやすい
- SQLで操作できるため、学習コストが低い
データ基盤のアーキテクチャ設計
3層アーキテクチャ
| 層 |
役割 |
構成要素 |
| データソース層 |
データの発生源 |
CRM、ERP、Webサイト、SaaS各種 |
| データ統合層 |
収集・変換・格納 |
ETL/ELTパイプライン、DWH |
| データ活用層 |
分析・可視化・活用 |
BIツール、機械学習、レポート |
ETLとELTの違い
| 方式 |
処理順序 |
特徴 |
適する場面 |
| ETL |
Extract→Transform→Load |
変換してからDWHに格納 |
データ品質を重視 |
| ELT |
Extract→Load→Transform |
まずDWHに格納し、DWH上で変換 |
BigQuery等のクラウドDWH向け |
クラウドDWHの計算能力を活用するELTが現在の主流です。dbt(data build tool)はELTのTransform部分を効率化するツールとして広く使われています。
データパイプラインの構築
CRMデータの統合例
CRM(HubSpot等)のデータをBigQueryに集約し、BIダッシュボードで可視化する構成です(関連記事: CRM × データウェアハウス連携の設計)。
構成:
- HubSpot API → Fivetran(ETLツール)→ BigQuery
- freee API → Fivetran → BigQuery
- BigQuery上でdbtを使ってデータモデリング
- Looker Studio/Tableauでダッシュボード作成
主要なETL/ELTツール
| ツール |
特徴 |
価格 |
| Fivetran |
マネージドETL、300+コネクタ |
従量課金 |
| Airbyte |
オープンソース、自前運用可 |
無料〜 |
| trocco |
日本製、国内SaaS対応 |
月額5万円〜 |
| Stitch |
シンプル、Talend傘下 |
従量課金 |
データ基盤構築のロードマップ
| フェーズ |
期間 |
内容 |
| Phase 1 |
0〜3ヶ月 |
CRMのダッシュボード活用(DWH不要) |
| Phase 2 |
3〜6ヶ月 |
CRM + 会計データのDWH統合 |
| Phase 3 |
6〜12ヶ月 |
全社データの統合、高度な分析 |
| Phase 4 |
12ヶ月〜 |
AI/ML活用、予測分析 |
中小企業はPhase 1から始めて十分です。CRMの標準ダッシュボード機能でかなりのデータ分析が可能です(関連記事: CRM導入の進め方完全ガイド)。データ量やユースケースが増えた段階でDWHを導入するのが、コスト効率の良いアプローチです。