TOPSoftware > Netflix、ワークフロー管理ツール「Metaflow」を...

Software

Netflix、ワークフロー管理ツール「Metaflow」をオープンソース化

2019/12/10

Serdar Yegulalp InfoWorld

 Metaflowは、特定の機械学習フレームワークやデータサイエンスライブラリと結び付いたものではない。プロジェクトのデータフローの各ステップを、Pythonの一般的なイディオムで記述できる。Metaflowのプロジェクトを実行するごとに、生成したデータに一意のIDが付与される。1回ごとの実行や、その中の個々のステップを参照するには、このIDや、ユーザーが割り当てたメタデータを使う。

 Netflixは、MetaflowをAWSで動かすことを勧めており、Metaflowの試用や評価を簡単に行うためのサンドボックス環境も提供している。この環境は、ストレージやデータの保持期間に制限がある。

 最初の公開版であるMetaflow 2.0は、Netflixが社内で使用しているMetaflowの機能のうち、R言語のサポートや、DataFrameの大規模データのインメモリ処理など、いくつかの機能が割愛されている。Netflixは、それぞれの機能に対応するGitHubのイシューで賛同の声が多いようなら、こうした機能も公開版に加える意向を示している。

(了)

翻訳:内山卓則=ニューズフロント
記事原文(英語)はこちら

↑ページ先頭へ