TOPCloud > Netflix、ワークフロー管理ツール「Metaflow」を...

Cloud

Netflix、ワークフロー管理ツール「Metaflow」をオープンソース化

2019/12/10

Serdar Yegulalp InfoWorld

 米Netflixは、データサイエンスプロジェクト向けのワークフロー管理ツール「Metaflow」をオープンソース化したことを発表した。これまで社内で利用していた自社開発のツールを公開したもの。プロトタイピングやモデルのデプロイなど、データサイエンスに関連するワークフロー全体に対応し、Amazon Web Services(AWS)の各種サービスと連携する機能も標準で備えている。

Credit: Thinkstock

 機械学習やデータサイエンス関連の開発プロジェクトでは、コード、データ、モデルのワークフロー全体を適切に管理するための仕組みが欠かせない。すべてを手作業で管理するのはミスが起こりやすく、またGitなどのソースコード管理ツールですべての要素に対応できるわけではない。

 Metaflowは、データへのアクセス、計算リソースの確保、バージョニング、モデルのトレーニング、スケジューリング、モデルのデプロイなど、データサイエンスのワークフローのスタック全体に対応するための機能を、PythonのAPIとして提供している。

 Metaflowの概略を説明したドキュメントによると、NetflixがMetaflowを開発したのは、プロトタイプ開発から本番稼働まで、データサイエンスプロジェクトの処理フロー全体に対応できる統一的なAPIを、社内のデータサイエンティストや開発者に提供し、負担を軽減するためだった。またMetaflowは、機械学習のユースケースの中でも、多数の企業が日々直面しているような、小~中規模の一般的なユースケースに主眼を置いているとのこと。

↑ページ先頭へ