summary:
Airbyteは,特にデータエンジニアやアナリストが複数の異なるサービスやアプリケーションからデータを統合し,データウェアハウスやデータレイクへロードする作業を簡素化・自動化することを目的として設計されている.
Airbyteは,2020年にフランスの元データエンジニアであるミシェル・トリコ[Michel Tricot]とジョン・ラフルール[John Lafleur]によって創設された.彼らはそれ以前,LiveRamp社などで大規模なデータパイプラインの設計と運用に携わった経験を持ち,既存のETL/ELTソリューションが抱える課題,特にコネクタの拡張性と保守性,ライセンスの制限,運用コストの問題に着目していた.彼らの提案するAirbyteは,すべてのコネクタをオープンソースで提供するという方針により,ユーザーが自由に修正・追加・再利用できる構造を持ち,他の商用ETLツール[例：FivetranやStitch]とは異なるアプローチを打ち出した.
Airbyteのアーキテクチャは,Dockerベースのモジュール構成を採用しており,コネクタ[sourceおよびdestination]を個別のコンテナとして実行することで,スケーラブルかつ独立性の高いデータ統合を実現している.また,変換処理[Transform]はAirbyte自体には含まず,ELTパターンに基づき,データの抽出とロードを主に担い,その後の変換処理はdbt[data build tool]など他のツールと連携して行うことを想定している.
オープンソースとしてのAirbyteは急速に成長し,GitHub上での活発なコミュニティや,コネクタの自動生成ツール[Connector Development Kit, CDK]の登場により,数百を超えるコネクタが短期間で開発されるに至った.また,2021年にはAirbyte Cloudという商用SaaS版がリリースされ,マネージドサービスとしても利用可能となった.
Mathematics is the language with which God has written the universe.