TOPNetwork > ニューラルアーキテクチャー探索とは(前)

Network

ニューラルアーキテクチャー探索とは(前)

2022/02/22

Martin Heller InfoWorld

 ニューラルアーキテクチャー探索(NAS:Neural Architecture Search)とは、ニューラルネットワークの最適なアーキテクチャーを自動で導き出す手法を指す。所定のデータセットに対して、優れた結果が得られ損失が少ないアーキテクチャーを、比較的短時間で導き出すことを目指す。近年注目が高まっている分野で、数多くの研究が進められている。その手法にはさまざまなアプローチがあるが、汎用的に見た場合でも、画像内の物体検出といった特定の問題に的を絞った場合でも、決定版と呼べる手法はない。

Credit: KTSimage / Getty Images
Credit: KTSimage / Getty Images

 NASは、特徴量エンジニアリング、転移学習、ハイパーパラメーター最適化と並んで、AutoMLに関連する分野の1つである。現在研究がさかんな機械学習の問題の中でも、難易度が特に高い。そもそも、NASの手法を評価すること自体も簡単ではない。また、NASの実行には、時間と費用がかかる。探索とトレーニングに要する期間は、GPU日の単位で表すことが多く、場合によっては数千GPU日にもなり得る。

 NASの改良に向けた取り組みが続いている理由は明らかだ。画像分類や機械翻訳をはじめ、これまでのニューラルネットワークモデルの発展では、ネットワークアーキテクチャーを手作業で調整する工程が不可欠だった。こうした作業は時間がかかり、誤りも生じやすい。パブリッククラウドでハイエンドのGPUを利用するのにかかるコストと比べても、データサイエンティストにかかるコストは非常に大きく、活用できる人材も限られている。

ニューラルアーキテクチャー探索の評価

 いくつかの論考や論文(Lindauer and HutterYang et al.Li and Talwalkarなど)で取り上げられているように、NASの研究の中には、さまざまな理由から、再現性に欠けるものが少なくない。また、NASのアルゴリズムには、ランダムサーチより優れていることを示していないものや、意義のある基準との比較を行っていないものも多い。

 Yang et al.は、ランダムなサンプリングによる標準的なアーキテクチャーと比べて、大きな優位性を示せていないNAS手法が多くあることを論じている。また、NAS手法の評価に使用されたコードや、アーキテクチャーの拡張に使用されたコードのリポジトリも取り上げている。

 Lindauer and Hutterは、NASのベストプラクティスについての論考に加えて、それらを取りまとめたチェックリストを提示している。主な内容は次のとおり。

↑ページ先頭へ