[解決済み] エアフローとKubeflowパイプラインの違いは何ですか？

質問内容

機械学習プラットフォームは、MLやディープラーニングの開発を促進するために、ビジネスにおけるバズワードの1つです。

共通する部分があります。 ワークフローオーケストレーター または ワークフロースケジューラ DAGの構築、実験、ジョブ、実行のスケジュールと追跡を支援するものです。

ワークフローオーケストレータを搭載した機械学習プラットフォームは、以下のように多数あります。 Kubeflowパイプライン , FBLearnerフロー , フライテ

質問ですが、airflowとKubeflow pipelineや他のMLプラットフォームのワークフローオーケストレーターの主な違いは何ですか？

また、Airflowは異なる言語のAPIをサポートし、大規模なコミュニティを持っています、私たちのMLワークフローを構築するためにAirflowを使用できますか？

どのように解決するのですか？

Airflowを使ってMachine Learningタスクをオーケストレーションすることは可能ですが、おそらくオペレーターを使ってリモートでMLタスクを実行したいことでしょう。

例えば、DailymotionはKubernetesPodOperatorを使用して、MLタスクのためにAirflowをスケールしています。

Kubernetes クラスタを自分でセットアップするリソースがない場合は、以下のような ML プラットフォームを利用することができます。 ヴァロハイ は、Airflowオペレータを備えています。

実運用でMLを行う場合、理想的にはモデルのバージョン管理も行い、各実行のデータ、コード、パラメータ、メトリクスを追跡したいものです。

この記事の詳細は、以下のサイトでご覧いただけます。 機械学習ワークフローのためのApache Airflowのスケーリング