Kubeflow

2017年にTensorFlowジョブをKubernetes上で実行することに特化して,Googleによって開発が開始.なお,名称はKubernetesとTensorFlowを組み合わせたものに由来.2018年には,プロジェクトがCNCFのインキュベーションプロジェクトとして採用された.2020年以降,Kubeflowは特にMLOps[Machine Learning Operations]の分野で重要な役割を果たすようなっている.

Kubeflowでは,NCCLを利用する分散トレーニングジョブを実行する際に,NVIDIAのGPUオーケストレーション機能と統合される.

また,Kubernetesの強力なスケーリング機能を利用して,必要に応じて計算リソースを動的に増減可能であり,ワークフローやモデルのデプロイがYAMLファイルなどで管理されるため再現性も確保されている.

Mathematics is the language with which God has written the universe.