TOPIndustries > AIの導入に伴う電力コストを抑制するには(後)

Industries

AIの導入に伴う電力コストを抑制するには(後)

2021/02/12

Andy Patrizio Network World

 人工知能(AI)や機械学習(ML)は、イノベーションを促す重要な原動力となり得るが、一般的な業務アプリケーションとは稼働の要件が異なる。一般的なアプリケーションは、CPUやメモリーの使用率はさほど高くならない。一方、AIやMLは、かなりの高使用率で膨大な処理を行うことも多い。電力コストや冷却コストの占める割合が、IT部門の想定より高くなることもある。同じような問題は以前からあるが、影響の度合いは高まっている。

前回から続く)

4:トレーニング時間を短縮する

Credit: Shane Rounce

 トレーニングに伴う電力消費を回避するには、トレーニング自体を減らすという手もある。トレーニングの経験を重ねたら、トレーニングアルゴリズムに立ち戻り、精度を落とさずに削れる部分がないかに目を向ける。

 「高度な推論は、単純なタスクでも大量のトレーニングが必要だ。現在、推論の改良が進められている。マシンがインテリジェントになるのに合わせて、推論の実行に必要なトレーニングが減る」とConway氏は話す。

 トレーニングでは通常、単精度(32ビット)か倍精度(64ビット)の浮動小数点演算を用いる。精度が高いほど処理は遅くなるが、電力消費は変わらない。米NVIDIAやGoogleなど、AIチップ開発企業がしばらく前から言っているのは、グラフィックの精密さが重要な意味を持つ画像処理や動画処理の類いを除けば、演算の精度はさほど必要ない場合が多いということだ。

 「演算回数の抑制や、ネットワークのコンパクト化、アルゴリズムの特性の活用といった面で、さまざまな取り組みがある」とDe Boeck氏は言い、ニューラルネットワークでパラメーター数を減らして演算を削減するプルーニングの手法を挙げる。

 演算精度を抑えることへの関心は、数年前から次第に高まってきた。16ビット浮動小数点フォーマットとしてIEEE(米国電気電子学会)で策定されたbfloat16は、IntelのAIプロセッサ、Xeon、FPGAや、GoogleのTPU(Tensor Processing Unit)、TensorFlowなどが対応している。大半の用途では十分な精度が得られることから、利用が広がっている。

↑ページ先頭へ