TOPアプリ/OS > Hadoop上でTensorFlowを分散処理する「TonY...

アプリ/OS

Hadoop上でTensorFlowを分散処理する「TonY」、LinkedInが公開

2018/09/18

Serdar Yegulalp InfoWorld

 米LinkedInは、TensorFlowのディープラーニングをHadoop上で動かすためのフレームワーク「TonY(TensorFlow on YARN)」をオープンソースで公開した。YARNのジョブスケジューリングと連携して、TensorFlowのジョブの大規模な分散処理や管理に対応する。

Credit: Ryan McGuire

 LinkedInは、TensorFlowのジョブをHadoop上で分散処理するために、既存のオープンソースのソリューションをいくつか試してみたものの、要件を満たしきれない部分があることから、TonYの開発を決めたと説明している。既存のソリューションのうち、例えばSpark上でTensorFlowを動かす「TensorFlow on Spark」は、Sparkとの結合が密すぎる点に難があり、TonYと同じような基本的機能を持つ「TensorFlowOnYARN」は、現在メンテナンスされていない点や、フォールトトレランスへの対応が十分でない点に難があると判断した。

 TensorFlowモデルのトレーニングには、何らかのジョブ管理が必要となる。何十時間や何日という単位で時間がかかる場合もあり、トレーニングのプロセスが正しく完了するという何らかの確証が求められる。

↑ページ先頭へ