セミナーレポート

少量データ向け深層学習技術NECデータサイエンス研究所 佐藤 敦

本記事は、国際画像機器展2019にて開催された特別招待講演を記事化したものになります。

少量データ学習技術

 従来のパターン認識手法では,「前処理」と「特徴抽出」は専門家が設計し,「識別」だけを機械学習で設計していました。一方,深層学習では,「識別」だけでなく「特徴抽出」も併せて学習できます。深層学習の力を借りてよい特徴を作ることができれば,「識別」ではデータが少なくても高い精度を得ることが可能になります。
 少量データ学習技術の1つめは,上記の考えに基づいた「モデル流用」です。よく知られているのは,プレ・トレーニングです。例えば,花を識別したいときに,花のデータは少ないが動物のデータをたくさんもっているとします。その場合,大量の動物のデータで深層ネットワークを学習した後,識別に相当する部分を削除し,新たな識別部を加えて花のデータを学習させます。流用したネットワークがよい特徴を学習しているなら,花のデータは少なくても高い精度を得ることができます。動物のデータと花のデータを同時に学習させることも可能で,マルチタスク学習と呼ばれます。2つのデータセットで,識別に有効な特徴が似ていることが,モデル流用では重要なポイントになります。
 また,映像監視などの例では,撮影場所などのドメインの違いによって精度が低下する問題があります。つまり,保有データで学習しても,現地データでは精度が出ないことがよくあります。この場合,現地で再学習することで精度を改善することが行われますが,カメラごとに現地データを大量に収集して再学習させるのは高コストになります。少量データ学習技術の2つめは,そのような場合に用いられる「データ流用」です。ドメイン適応とも呼ばれ,保有データを現地データに合うように変換してから学習することで,現地データが少なくても高い精度を得ることができます。
 少量データ学習技術の3つめは「データ生成」です。CGのように精緻な物理モデルがあれば学習データを大量に作れますが,このような物理シミュレーションは高コストなことが課題です。画像の切り貼りなどのデータ合成や,画像の回転や大きさを変えるなどのデータ拡張もありますが,精度改善に有効な「認識が難しいデータ」を必ずしも作れないことが課題です。最近注目されている敵対的生成ネットワーク(GAN)では,本物と偽物とを見分ける識別部と,それを騙す偽物を作るデータ生成部を競わせて,本物そっくりの偽物を作ることができます。しかし,真似すべき本物のデータが少ないと,質の高い偽物を作れないのが課題と言えるでしょう。

<次ページへ続く>

NECデータサイエンス研究所 佐藤 敦

1989年 東北大学大学院理学研究科博士課程了。理学博士。同年NEC入社,中央研究所にてパターン認識,機械学習の研究開発に従事。郵便区分機向け文字認識の開発,顔認証エンジンNeoFaceの開発にも携わる。1994~1995年 米国ワシントン大学客員研究員,2008年 米国マサチューセッツ工科大学客員研究員。現在,NECデータサイエンス研究所主席研究員。東京大学大学院情報理工学系研究科客員教授,理研AIP-NEC連携センター 副連携センター長を兼務。2010年度情報処理学会喜安記念業績賞,2012年度電子情報通信学会業績賞,2014年度全国発明表彰発明賞など受賞。

アーカイブもっと見る

画像を利用したインフラ維持管理におけるデータ管理手法
画像を利用したインフラ維持管理におけるデータ管理手法(3/25) 株式会社イクシス 代表取締役 山崎 文敬
生体視覚神経系に学んだロボットビジョン開発
生体視覚神経系に学んだロボットビジョン開発(1/25) 大阪工業大学 情報科学部 奥野 弘嗣
少量データ向け深層学習技術
少量データ向け深層学習技術(1/25) NECデータサイエンス研究所 佐藤 敦
遠赤外線カメラと可視カメラを利用した悪条件下における画像取得
遠赤外線カメラと可視カメラを利用した悪条件下における画像取得(5/25) 産業技術総合研究所 東京工業大学 田中 正行
自動運転をめぐる法整備の最新動向
自動運転をめぐる法整備の最新動向(5/25) 明治大学専門職大学院法務研究科 自動運転社会総合研究所所長 中山 幸二
アテンションメカニズムによる深層学習の解釈に向けて
アテンションメカニズムによる深層学習の解釈に向けて(3/25) 中部大学 工学部ロボット理工学科 藤吉 弘亘

ダウンロード

展示会FAQ