セミナーレポート

少量データ向け深層学習技術NECデータサイエンス研究所 佐藤 敦

本記事は、国際画像機器展2019にて開催された特別招待講演を記事化したものになります。

敵対的特徴生成と,層ごとの適応的正則化

 少量データ学習技術で,NECが開発した技術を2つ紹介します。
 1つめは「敵対的特徴生成」です。従来の技術では,対象を回転させたり大きさを変えたりするデータ拡張や,ノイズを付加するなどしてデータを増やし学習していました。それに対してNECが開発した技術は,精度向上に有効な「認識が難しいデータ」を,中間層で自動的に作りながら学習することで,精度のよい識別を実現するものです。データの種類によらないため,専門家の調整が不要というメリットもあります。機械学習の精度評価に標準的に用いられる公開データセットによる評価では,MNIST(手書き数字認識),CIFAR-10(物体認識)ともに,従来と同精度を半分程度の学習データで実現しました。
 2つめは「層ごとの適応的正則化」です。学習データが少ない場合,学習データに対しては高い精度を出しますが,学習していないデータに対しては精度が低下する過学習という問題が顕著になります。これは,学習データに含まれるノイズにまで適合してしまうことが原因です。これを抑えるために使われるのが正則化で,より単純なモデルに誘導することで,学習データに対する過適合を軽減します。ここで重要なのは,正則化の強さを適切に設定することです。しかし,従来の深層学習では,どの層に対しても同じ強さの正則化を用いるため,過学習の層と学習が進まない層とが混在し,精度改善には限界がありました。開発した技術では,ネットワークの構造から学習の進む速さを層ごとに予測し,学習の進む速さに応じた正則化の強さを層ごとに自動設定します。すべての層で適切なバランスを取り,ネットワーク全体で効率的に学習を進行でき,実験結果では認識エラーを2割削減できました。
 今後の展望としては,Transfer Learning(転移学習)がトレンドになるという予測があります。他のデータやモデルを活用して精度を高めることが,転移学習の重要な技術になります。NECは,理化学研究所と共同で,2017年に「理研AIP-NEC連携センター」を設立しました。その活動テーマの1つが,今回ご紹介した少量の学習データで高精度を実現する学習技術の高度化であり,最先端の研究機関と連携して基本技術の開発を目指しています。

NECデータサイエンス研究所 佐藤 敦

1989年 東北大学大学院理学研究科博士課程了。理学博士。同年NEC入社,中央研究所にてパターン認識,機械学習の研究開発に従事。郵便区分機向け文字認識の開発,顔認証エンジンNeoFaceの開発にも携わる。1994~1995年 米国ワシントン大学客員研究員,2008年 米国マサチューセッツ工科大学客員研究員。現在,NECデータサイエンス研究所主席研究員。東京大学大学院情報理工学系研究科客員教授,理研AIP-NEC連携センター 副連携センター長を兼務。2010年度情報処理学会喜安記念業績賞,2012年度電子情報通信学会業績賞,2014年度全国発明表彰発明賞など受賞。

アーカイブもっと見る

画像を利用したインフラ維持管理におけるデータ管理手法
画像を利用したインフラ維持管理におけるデータ管理手法(3/25) 株式会社イクシス 代表取締役 山崎 文敬
生体視覚神経系に学んだロボットビジョン開発
生体視覚神経系に学んだロボットビジョン開発(1/25) 大阪工業大学 情報科学部 奥野 弘嗣
少量データ向け深層学習技術
少量データ向け深層学習技術(1/25) NECデータサイエンス研究所 佐藤 敦
遠赤外線カメラと可視カメラを利用した悪条件下における画像取得
遠赤外線カメラと可視カメラを利用した悪条件下における画像取得(5/25) 産業技術総合研究所 東京工業大学 田中 正行
自動運転をめぐる法整備の最新動向
自動運転をめぐる法整備の最新動向(5/25) 明治大学専門職大学院法務研究科 自動運転社会総合研究所所長 中山 幸二
アテンションメカニズムによる深層学習の解釈に向けて
アテンションメカニズムによる深層学習の解釈に向けて(3/25) 中部大学 工学部ロボット理工学科 藤吉 弘亘

ダウンロード

展示会FAQ