TOPSoftware > Microsoft、PyTorchのディープラーニングを最適...

Software

Microsoft、PyTorchのディープラーニングを最適化する「DeepSpeed」をリリース

2020/02/13

Serdar Yegulalp InfoWorld

 PyTorchを強化するために、DeepSpeedは並列化の向上を取り入れている。MicrosoftがDeepSpeedのドキュメントで挙げている例によると、デバイスメモリー32GバイトのNVIDIA V100 GPUでモデルをトレーニングする時に、PyTorchのDistributed Data Parallelではパラメータ数15億のモデルでメモリー不足になったのに対し、DeepSpeedではパラメータ数60億のモデルでも対応できた。

 DeepSpeedは、トレーニングの際のGPUメモリーの利用を効率化する。複数のGPU間にわたるモデルのトレーニングをパーティショニングすることにより、必要なデータを近くに維持でき、各GPUのメモリー要件が抑えられ、GPU間の通信のオーバーヘッドが減る。

 DeepSpeedでは、モデルのトレーニングで対応できるパラメータの数が増え、予測の精度が上がる。トレーニングプロセス自体のパラメータや変数を調整するハイパーパラメータ最適化は、モデルの精度の向上につながるが、手動での作業やノウハウが必要になることが多い。

 こうした負担をなくすために、機械学習フレームワークの多くは、ハイパーパラメータ最適化の自動化を何らかの形でサポートしている。Microsoftの説明によると、DeepSpeedでは、パラメータ数1000億のディープラーニングモデルのトレーニングを現行世代のGPUクラスタで実行した場合に、現在の最高のシステムの3~5倍のスループットを実現できる。

 DeepSpeedはフリーのオープンソースで、ライセンスはMITライセンス。公式のチュートリアルはMicrosoft Azureの仮想マシンを使うものになっているが、DeepSpeed自体はAzureでなくても使用できる。

(了)

翻訳:内山卓則=ニューズフロント
記事原文(英語)はこちら

↑ページ先頭へ