summary:
OLTP[オンライン・トランザクション処理]システムとは異なり,DWHは過去のデータを時系列で保持し,大量のデータを分析・集計しやすくすることを目的とする.
DWHは主題指向[Subject-Oriented],統合[Integrated],時系列[Time-Variant],非可変[Non-Volatile]という4つの特徴を持つ.
主題指向とは,データが特定のビジネス分野[売上,顧客,商品など]を中心に構成されていることを意味する.統合とは,複数の業務システムから収集したデータが整合性を保って一元管理されていることを指す.時系列とは,データに時間軸の概念があり,過去からの変遷を追跡できることを示す.非可変とは,一度格納されたデータは基本的に更新されず,履歴として保持されることを意味する.これらの特徴により,企業は長期間にわたるデータの変遷を追跡し,経営戦略の策定やビジネスインテリジェンス[BI]に活用することができる.
DWHはOLAPが効率的に動作するための基盤となるシステムであり,OLAPはDWHに格納されたデータを活用するための分析技術・ツールである.
DWHの構築には一般的にETL[Extract-Transform-Load]と呼ばれるプロセスが用いられる.これは,複数の業務システムからデータを抽出し[Extract],分析に適した形式に変換・クレンジングし[Transform],DWHに取り込む[Load]という一連の処理を指す.ETLは通常,定期的なバッチ処理として実行される.
DWHのデータモデルとしては,分析パフォーマンスを最適化するためにスター型スキーマやスノーフレーク型スキーマが広く採用されている.スター型スキーマは中心にファクトテーブル[事実表]を置き,それを取り囲むようにディメンションテーブル[次元表]を配置する構造であり,直感的な理解とクエリの高速化を実現する.スノーフレーク型スキーマはスター型を拡張し,ディメンションテーブルをさらに正規化した構造である.
近年のDWH技術は急速に進化しており,クラウドベースのDWH[Amazon Redshift,Google BigQuery,Snowflakeなど]が主流となりつつある.これらのサービスは従来のオンプレミス型DWHと比較して,拡張性,コスト効率,メンテナンス性に優れており,データの増加に柔軟に対応できる.また,リアルタイムデータ統合,AIや機械学習との連携,セルフサービス型分析環境の提供など,DWHの活用範囲は従来の経営分析から予測分析や自動化された意思決定支援へと拡大している.
1960年代から1970年代のバッチ処理と初期のデータ統合時代では,企業はメインフレームを使用し,バッチ処理によるデータ管理を行っていた.日次や週次の処理サイクルでデータを更新し,レポート生成を行うのが一般的であった.しかし,この時期は部門ごとに異なるデータフォーマットが存在し,データの統合が非常に困難であった.各部門のシステムはサイロ化され,全社的な視点でのデータ分析や意思決定を行うことは技術的に大きな障壁があった.このような課題から,統合データ環境の必要性が徐々に認識されるようになった.
1980年代にはデータウェアハウスの概念が誕生した.IBMのBarry Devlinによって本格的にDWHの概念が提唱された.彼は,企業が戦略的な意思決定を行うためには「OLTPデータを統合し,分析できる環境が必要である」と主張し,業務システムとは別に分析専用のデータ環境を構築する考え方を示した.また,この時期にETL[Extract, Transform, Load]の概念が登場し,異なるデータソースからデータを抽出・変換・ロードする手法が確立された.ETLの登場により,異なるシステムに散在するデータを一元管理する技術的基盤が整い始めた.
1990年代には商用DWHの登場と普及が進んだ.Bill Inmonによって,データウェアハウスの定義が明確化され,彼はDWHを「企業全体のデータを統合し,時系列で管理し,分析に適した形で保存する主題指向・統合・時系列・非可変なシステム」と定義した.このInmonのアプローチは「トップダウン方式」とも呼ばれ,企業全体の統合データモデルを構築することを重視した.一方で,Ralph Kimballは「データマート[Data Mart]」の概念を提唱し,「部門ごとに最適化されたDWHを構築し,それらを連携させる」というボトムアップアプローチを推奨した.この時期には商用DWH製品が本格的に登場し,IBM Db2,Oracle Data Warehouse,Teradataなどが大企業を中心に広く採用された.また,多次元データモデルやスター・スキーマ,スノーフレーク・スキーマといったDWH特有のデータモデリング手法が発展し,分析効率の向上に貢献した.
2000年代にはビッグデータ時代の到来とDWHの進化が見られた.インターネットの普及やデジタル化の進展により,企業が扱うデータ量が急増し,従来のリレーショナルデータベース管理システム[RDBMS]では処理が困難になってきた.この課題に対応するため,分散処理技術[HadoopやMapReduceなど]が登場し,DWHとの連携が進んだ.これらの技術により,ペタバイト級の大規模データも処理可能となった.さらに,クラウドコンピューティングの普及により,Amazon RedshiftやGoogle BigQueryなどのクラウドDWHが登場し,柔軟なスケーリングと低コストでの運用が可能になった.従来のオンプレミス型DWHと比較して,初期投資を抑えつつ需要に応じた拡張が可能になり,中小企業にもDWH導入の門戸が開かれた.
2010年代以降はクラウドDWHとリアルタイム分析の発展が顕著である.クラウドDWHの性能向上と安定性の確立により,オンプレミス型DWHの多くがクラウドへ移行するトレンドが加速した.特にSnowflakeの登場により,ストレージとコンピュートを分離する新しいアーキテクチャが普及し,より柔軟で費用対効果の高いDWH運用が可能となった.また,ビジネス環境の変化速度が加速する中,リアルタイム分析の重要性が増し,ストリーミングデータをDWHに取り込む技術[KafkaやFlinkなど]が発展した.これにより,DWHは従来のバッチ処理中心から,リアルタイムやニアリアルタイムのデータ処理も含めた総合的なデータプラットフォームへと進化している.さらに,AI・機械学習との統合が進み,DWHは単なるデータ保存庫ではなく,予測分析や自動化された意思決定支援を含むデータ活用の基盤へと進化している.データレイクやデータメッシュといった新しいデータアーキテクチャの概念も登場し,DWHはより広範なデータエコシステムの中核コンポーネントとして位置づけられるようになった.
Mathematics is the language with which God has written the universe.