TOPアプリ/OS > Hadoop上でTensorFlowを分散処理する「TonY...

アプリ/OS

Hadoop上でTensorFlowを分散処理する「TonY」、LinkedInが公開

2018/09/18

Serdar Yegulalp InfoWorld

 LinkedInの説明によると、TonYはYARNのリソース管理とジョブスケジューリングの仕組みを利用して、TensorFlowのジョブをHadoopクラスタに割り当てる。また、GPUベースのTensorFlowジョブのスケジューリングや、種類に応じたリソース要求(GPU・CPU)の機能を持つほか、TensorFlowのノードに対するメモリー割り当てを変え、ジョブの出力をHDFSに定期的に保存して、クラッシュや中断が発生した場合でもそこから再開できるようにする。

 TonY内部では、Client、ApplicationMaster、TaskExecutorという3つの主要な構成要素が役割を分担している。ClientはTensorFlowのジョブを受け取る役割、ApplicationMasterはYARNのリソースマネージャーと交渉してYARNにジョブをプロビジョニングする役割、TaskExecutorはYARNクラスタ上でTensorFlowのジョブを実際に動かす役割を担う。

 TensorFlowのジョブの処理にTonYを使った場合でも、明確なオーバーヘッドはない。「TonYは、分散化されたTensorFlowのオーケストレーションを行うレイヤーであり、TensorFlowのジョブの実行そのものには干渉しない」からだと、LinkedInは説明している。

 TonYは、TensorFlowアプリケーションの視覚化、最適化、デバッグに役立つTensorBoardもサポートしている。

(了)

翻訳:内山卓則=ニューズフロント
記事原文(英語)はこちら

↑ページ先頭へ