TOPSoftware > Microsoft、PyTorchのディープラーニングを最適...

Software

Microsoft、PyTorchのディープラーニングを最適化する「DeepSpeed」をリリース

2020/02/13

Serdar Yegulalp InfoWorld

 米Microsoftは、機械学習フレームワーク「PyTorch」のディープラーニングを最適化するライブラリ「DeepSpeed」をリリースした。メモリー使用量を抑え、モデルトレーニングの並列化を向上できる。

Credit: Peter Griffin

 Microsoft Researchのブログ記事によると、DeepSpeedは、PyTorchを使う既存のコードにわずかな変更を加えるだけで利用でき、PyTorchのモデルのトレーニングをメモリー最適化技術により強化する。この最適化技術は、モデルのパラメータ数の増加や、GPUのメモリーの有効活用といった面で効果がある。

 コードの変更がわずかで済むという点はメリットが大きい。機械学習ライブラリの確立が進み、こうしたライブラリに依存するアプリケーションが増える中では、新しいフレームワークが入り込む余地は小さい。その分、既存のフレームワークのパフォーマンスやスケーラビリティを高める試みが盛んになっている。

 PyTorchは、計算速度の面でも開発速度の面でも高速ではあるが、改善の余地は常にある。PyTorch向けに開発したアプリケーションのコードに最小限の変更を加えれば、DeepSpeedを活用できる。他のフレームワークで一から開発し直す必要はない。

↑ページ先頭へ