敵対的特徴生成と，層ごとの適応的正則化

　少量データ学習技術で，NECが開発した技術を2つ紹介します。
　1つめは「敵対的特徴生成」です。従来の技術では，対象を回転させたり大きさを変えたりするデータ拡張や，ノイズを付加するなどしてデータを増やし学習していました。それに対してNECが開発した技術は，精度向上に有効な「認識が難しいデータ」を，中間層で自動的に作りながら学習することで，精度のよい識別を実現するものです。データの種類によらないため，専門家の調整が不要というメリットもあります。機械学習の精度評価に標準的に用いられる公開データセットによる評価では，MNIST（手書き数字認識），CIFAR-10（物体認識）ともに，従来と同精度を半分程度の学習データで実現しました。
　2つめは「層ごとの適応的正則化」です。学習データが少ない場合，学習データに対しては高い精度を出しますが，学習していないデータに対しては精度が低下する過学習という問題が顕著になります。これは，学習データに含まれるノイズにまで適合してしまうことが原因です。これを抑えるために使われるのが正則化で，より単純なモデルに誘導することで，学習データに対する過適合を軽減します。ここで重要なのは，正則化の強さを適切に設定することです。しかし，従来の深層学習では，どの層に対しても同じ強さの正則化を用いるため，過学習の層と学習が進まない層とが混在し，精度改善には限界がありました。開発した技術では，ネットワークの構造から学習の進む速さを層ごとに予測し，学習の進む速さに応じた正則化の強さを層ごとに自動設定します。すべての層で適切なバランスを取り，ネットワーク全体で効率的に学習を進行でき，実験結果では認識エラーを2割削減できました。
　今後の展望としては，Transfer Learning（転移学習）がトレンドになるという予測があります。他のデータやモデルを活用して精度を高めることが，転移学習の重要な技術になります。NECは，理化学研究所と共同で，2017年に「理研AIP-NEC連携センター」を設立しました。その活動テーマの1つが，今回ご紹介した少量の学習データで高精度を実現する学習技術の高度化であり，最先端の研究機関と連携して基本技術の開発を目指しています。

• « 前ページ
• 1
• 2
• 3