summary:
データベース管理システム[DBMS]やストリーム処理エンジン,ETL フレームワークなど,さまざまなデータ処理プラットフォームに統合される形で利用されている.Calcite は,データの格納・実行エンジンを持たず,SQL 処理の「論理頭脳」として機能する.
Apache Calciteの起源は,LucidDB というオープンソースのカラムナ型データベースプロジェクトにある.LucidDB の開発元である LucidEra 社の倒産後,LucidDB のコアコンポーネントであるクエリ処理エンジン[Farrago]が継承され,Optiq というプロジェクトに発展した.Optiq は,JDBC ベースで SQL を外部システムに提供する「仮想データベース」として注目を集め,2014 年に Apache ソフトウェア財団により Calcite の名でインキュベーションが開始された.2015年にはApacheのトップレベルプロジェクトとなった.Calcite はその後,Apache Hive, Apache Flink, Apache Drill, Apache Kylin, Druid, Samza, Phoenix, Storm, Avaticaなど数多くのプロジェクトに採用されてきた.
Apache Calciteは以下の主要な技術コンポーネントによって構成されている.
ANSI SQL:2011に準拠しつつ,拡張構文の定義も可能である.JavaCCベースのパーサを使用して入力されたクエリ文字列を抽象構文木[AST]に変換する.さらに,SQLと同等の表現力を持つAPIも提供している.
SQL をリレーショナル代数の演算[Scan, Project, Filter, Join, Aggregate など]に変換し,論理計画を構築する.中間表現として RelNode クラスのツリーが用いられる.この論理計画は物理計画にコンパイルされ,最終的に実行エンジンで処理される.
ルールベースおよびコストベースの最適化戦略に対応しており,HepPlanner[ヒューリスティックな探索戦略を実装], VolcanoPlanner[動的計画法とコスト推定に基づく]などの実装がある.トリガー式のルール適用や,統計情報を用いた推論が可能である.述語のプッシュダウン,結合順序の最適化,集約操作の結合などの一般的な変換規則が組み込まれている.
JDBC, Cassandra, MongoDB, Elasticsearch, Splunk, Solrなど多種多様なデータソースに対するアダプタを提供可能である.外部ストレージを Calcite の仮想スキーマにマッピングし,統合的に SQL を適用できる.これにより異種データシステム間でのクエリフェデレーション[連携実行]が実現可能となる.
ユーザ定義関数[UDF],集約関数[UDAF],テーブル関数[UDTF]を定義できる.JSON 演算,地理空間演算,ウィンドウ関数,そして正規表現や時間操作などの拡張も可能である.Javaのリフレクションを用いたUDFの自動検出機能も備えている.
Flink などで活用されるように,ストリームを「時系列のリレーショナル・テーブル」として扱う論理設計が可能である.時間枠処理[ウィンドウ計算],イベント時間の取り扱い,遅延到着データの処理など,ストリーム特有の課題に対応するための基盤を提供する.
接続されたデータソースからスキーマ情報を動的に取得し,統一的なメタデータビューを提供する.スキーマ進化にも対応し,キャッシュ機構を介して効率的なメタデータ管理を実現している.
ロールベースのアクセス制御や行・列レベルのセキュリティポリシーを適用するためのフレームワークを備えており,多様なセキュリティ要件に対応可能である.
Calcite の設計は「Storage-less」「Execution-less」な中間層という特徴を持ち,データ処理のフロントエンド[解析・最適化]とバックエンド[実行エンジン]を明確に分離する.これにより,任意のストレージやメモリ形式[例：Apache Arrow]と容易に組み合わせ可能となる.モジュール性と拡張性に優れた設計により,特定のニーズに合わせたカスタマイズが容易である.
Apache Hive の新しいクエリエンジン[Hive on Calcite]では,より複雑なクエリや最適化をサポートし,パフォーマンスを向上させている.Apache Flink の SQL 処理[Flink SQL]では,ストリーム処理とバッチ処理の統一的なSQL APIを実現している.Druid や Kylin における OLAP クエリの最適化では,複雑な分析クエリの効率的な実行を支援している.Kafka Streams / Samza におけるストリームSQL処理では,リアルタイムデータ処理のための宣言的インターフェースを提供している.
また,Apache Beam との連携や,Substrait のような中間表現標準との接続により,今後さらに Calcite の抽象的役割は強化されると見込まれている.BigQuery互換レイヤーや多様なSQL方言への対応も進められており,クラウドネイティブな環境での利用も拡大している.企業におけるデータレイクやデータメッシュアーキテクチャでは,異種データソースを横断するクエリエンジンとしても採用されている.
Calciteの最新の発展としては,機械学習支援のためのクエリ最適化や,GPUアクセラレーションのためのコード生成機能など,次世代のデータ処理基盤としての機能強化が進められている.
Mathematics is the language with which God has written the universe.