【重要】技術情報誌『O plus E』休刊のお知らせ

第5回 嘘のつけない画像技術研究の旗手,加藤邦人教授~現場とトレンドの剛毅朴訥な攻め~

3.嘘のつけない剛毅な加藤先生の,研究への取り組みと成果


 加藤先生が博士学位論文で取り上げた研究テーマは,Hough変換であった。最小メジアン二乗近似とHough変換のいいとこどりを狙う「LMeds-Hough」の提案など,大局視覚研究課題の核心を突いていた。その実績は顕著であり,数理基礎に高感度な加藤先生の面目躍如であった。詳細は次のサイトをご覧ください(http://www.cv.info.gifu-u.ac.jp/yam/members/kkato/public_html/link.html)。
 しかし本稿では,これらへの言及は省かせていただく。話題の中心を,産学連携研究の,それもDL技術による画像検査研究とその腰の据わった進め方に絞るためである。

           ++

 現在進行形の画像AI研究活動と最新業績での評価を前にして,筆者が気付いている非常に興味深い点にフォーカスする。それは一連の研究群を,敢えて半ば造語的に言うと,“ピアレビュー”と“トップダウンレビュー”の完全制覇! コンプリートの達成! とも言うべき見事な形に,一度ならず短期間に何度も結晶させたことである。この傑出した成果から逆照射することで,その意味を炙り出したい。

IAIP小田原賞  ピアレビューの最高峰の価値     /ViEW2016 2017 2019 受賞の快挙
JSPE論文賞   トップダウンレビューの最高峰の価値 /2021年度,2022年度受賞の快挙


敢えて先に結言風に言ってしまうと,ここで炙り出される意味は,

“現場とアカデミアは乖離しない時だけ女神は微笑む”


なのかもしれない。

(1)小田原賞2019受賞論文に注目 ―ピアレビュー―
 ここでは,産学の現場にてLEDチップ不良品検査の取り組みから生まれた,小田原賞2019受賞論文に注目する。写真2は,この論文で使われたLEDチップ画像の事例と実験結果である。

ViEW2019 ビジョン技術の実利用ワークショップ 小田原賞(優秀論文賞)

中塚俊介,加藤邦人:“多重解像度マップを持つ補集合GANを用いた正常データのみの学習による外観検査法”(2019年12月6日 受賞)



写真2 LEDチップ欠陥検査とMSP-CGAN異常度Map(ViEW2019小田原賞受賞論文)

 ここでMSP-CGANと命名された手法は,隣接する他の手法群(RGAN,AE+,CGANなど)を遥かに凌いで,AUROC/0.954,AUPRC/0.664であったことがViEWフロアを刮目させた。この手法は,二つの基本技術の提案,

①大量の正常分布とその補集合分布による異常検知モデルの着想
②欠陥サイズバリエーションに耐えるMulti-Scale Patch Discriminator構造NNモデルの導入


からなり,巧妙であった。
 そしてもっと重要な二つのことが,その背後にある。まずひとつ目がLED製造現場への徹底した取材と観察により,正常分布とその補集合分布を同時に扱うというヒラメキに出会ったことである。もうひとつがこのLED欠陥現象の受け止め方に相応しいDNNモデルを選ばせた技術的精細な知恵を生んだことである。ここにはDL技術開発における‟見えざるノウハウ”が埋もれていると思われ,衆目の関心からもその見える化が大いに期待されていると思われる。

(2) 精密工学会論文賞受賞論文,リビジット ―トップダウンレビュー―
 上記の小田原賞受賞論文を受け,精密工学会誌,87巻1号に掲載された同名の論文が,2021年の精密工学会論文賞を受賞した。ここでは,その研究をさらに前向きに受け継いだ2022年精密工学会論文賞受賞論文に学びたい。

 写真3は,この研究で用いられた対象画像,MVTec AD (外観検査画像データセット)とその実験結果の一部である。

2021JSPE論文賞
中塚 俊介,加藤 邦人:多重解像度マップを持つ補集合GANを用いた正常データのみの学習による外観検査法,精密工学会誌,87巻1号(2021年)
2022JSPE論文賞
中塚 俊介:近傍特徴と異常特徴を考慮した事前学習済みモデルによる異常検知,精密工学会誌,88巻12号(2022年)



写真3 ピクセルレベル異常検知の結果(2022JSPE論文賞受賞論文)

 この研究の要点と価値は,産業現場の実対象における正常と欠陥現象の観察を極限まで形式知として把握した上のDL技術実装にある! と思われる。
 具体的には次のとおりである。

生成モデルを採用する,事前学習モデル(ImageNetの事前学習,EfficientNet-B5)を採用する,
部分空間法の知見を活かす,さらに近傍特徴抽出技術を活かす,正常モデルの学習に訴える,
実験ではMVTec ADを用いる,疑似異常データの増量を施す,提案手法の比較NN(GANormalyPCDD,CutPaste,SPADE,PaDiM)を慎重に選んだ,


 以上の知見群が織り込まれて,このDL技術実装シナリオが構築されたと映る。果たして提案手法は,image level AUROC(0.984),pixel level AUROC(0.975)において他を凌いだ。再度リマインドすることが肝要である。
 この研究成功の秘密は,現場的形式知の細心な活用と丁寧を極めたDNNモデル設計の“二刀流的”勝利と思っている。そしてこのトップダウンレビューは,上記(1)のピアレビューと寸分違わなかったのである。ここに産学の重厚な関係性から離れないことの学術的意義が垣間見える。

(3) 補遺:産学官連携への大いなる広がり
 加藤先生による本気の“産学の連携”による画像AI研究は,上記の(1),(2)のように,大いに耳目を集めた。さらに,加藤先生のグループは “官”との連携も怠らず “学官”としての連携により,下記の先導的な画像生成研究(SSII2019 優秀学術賞受賞)につながったことも見逃せない。

相澤宏旭, 片岡裕雄, 佐藤雄隆, 加藤邦人, “Viewpoint-agnostic Image Rendering”,
第25回画像センシングシンポジウム SSII2019, IS2-16, (2019年6月13日)


 任意視点画像生成は,Generative Adversarial Networks (GANs) にとって非常に困難である。物体形状や 3 次元空間上での物体と視点間の関係性などの 3 次元情報を理解していないからである。この研究は,Conditional GAN に入力視点の 3 次元情報を再構成する機構を装備させ,任意視点画像生成 Viewpoint-Agnostic Image Rendering (VAIR)を行う意欲的な枠組みを提案している。これは丁寧な多角的実験にて,果たして,

定量的には,SSIM,MS-SSSIM,LPIPS指標にて他を凌いだ。
定性的には,比較したCMR(Angjoo Kanazawaら,ECCV,2018) はCG のような Artifacts が発生し,遮蔽物の画素が生成結果に悪影響をもたらす短所があった。これに対して,VAIR はより“写実的”な画像生成を達成している。


であった。(SSII2019優秀学術賞)

       ++

如何でしょうか? もはや鮮明に,

“現場とアカデミアは乖離しない時だけ女神は微笑む”


ことが垣間見れて余りあったのではないでしょうか。

<次ページへ続く>

エール ―若き画像研究の旗手へ― 新着もっと見る

本誌にて好評連載中

私の発言もっと見る

一枚の写真もっと見る