TOPNetwork > ニューラルアーキテクチャー探索とは(後)

Network

ニューラルアーキテクチャー探索とは(後)

2022/02/25

Martin Heller InfoWorld

 ニューラルアーキテクチャー探索(NAS:Neural Architecture Search)とは、ニューラルネットワークの最適なアーキテクチャーを自動で導き出す手法を指す。所定のデータセットに対して、優れた結果が得られ損失が少ないアーキテクチャーを、比較的短時間で導き出すことを目指す。近年注目が高まっている分野で、数多くの研究が進められている。その手法にはさまざまなアプローチがあるが、汎用的に見た場合でも、画像内の物体検出といった特定の問題に的を絞った場合でも、決定版と呼べる手法はない。

前回から続く)

重要な詳細情報の公開に関するベストプラクティス

Credit: Thinkstock
Credit: Thinkstock
  • ハイパーパラメーター最適化の方法や、それに要した時間とリソースを公開する。
  • NAS手法のエンドツーエンドでの実行に要した時間を公開する(例えば探索のフェーズのみとはしない)。
  • 実験で使用した環境の詳細情報を公開する。

 途中に出てきた「アブレーションスタディ」について補足する。この言葉は、元々は体内組織の外科的切除を表す。脳に関しては、一般には重大な疾患に伴う手術後に調査を行うもので、脳の各部の働きを特定する助けになる。

 一方、ニューラルネットワークの研究に関して言う場合のアブレーションとは、ニューラルネットワークの構成要素のいずれかを除去して、その重要性を特定することを表す。NASの研究で言えば、探索パイプラインや訓練手法から、隠れ要素も対象に含めて一部分を除去し、重要性を判断する。

↑ページ先頭へ