特集にあたって慶應義塾大学　斎藤　英雄

コンピュータビジョン技術活用の新潮流

　本特集では，最近10年間に大きく進化と変貌を遂げたコンピュータビジョン（CV）について，今後の新たな潮流の方向を示す事例を取り上げた。
　1980年代のCVは，基本的な画像処理に基づくセグメンテーションや，ステレオ画像間のマッチングや陰影などの画像特徴を用いた3次元形状推定等の基本アルゴリズムの研究が主流であったが，カメラはアナログであり，画像をデジタル化することさえも簡単には行えない時代だった。そのころから自動ロボットや自動運転などの実応用を目指した研究開発は始まっていたものの，大半が原理・コンセプトの実証に留まっていた。その後1990年代に入ると，デジタルカメラが登場・普及し，コンピュータで音声や画像のマルチメディアを誰もが扱えるようになったことから，CVの応用分野が広がった。大きな流れとしては，人と機械・コンピュータのインタラクションにCVを使うことを想定した研究が始まり，さらに多くの台数のカメラを活用して現実環境・物体を丸ごと仮想環境に取り込む技術などの研究がなされるようになった。21世紀に入ると，カメラが撮影した環境の空間形状・幾何形状計測・復元のための技術も大きく進歩し，以前は特殊な装置やセンサーを必要としていたような3次元形状計測を誰もが簡単に行える状況となった。一方，画像認識技術についても，より人間の認識機能にCVによる画像認識技術のレベルを近づけていこうとする流れが盛んになり，そのための画像データベースや新しいアイデアに基づくアルゴリズムが進歩した。そして，深層学習の優れた性能とその潜在的可能性がわかると，CVの研究の大半がこの技術を使用した画像認識に基づくものとなってきた。
　このような流れのなか，CVの入力であるカメラについても新しい潮流が表れてきた。その代表的なものが，ニューロモーフィックビジョンと呼ばれるイベントカメラである。通常のカメラでは，画像を撮像する時間間隔では捉えきれない高速現象はセンシングできない。これに対して，イベントカメラは画像全体の画素値を一定時間間隔で出力する代わりに，画素値の変化に着目し，画素値の変化が一定のしきい値を越えた時に，その画素の2次元位置・その変化量・変化のあった時刻を「イベントデータ」として出力するものであり，画像全体の画素値に比べて大幅に少ない量となるイベントデータからシーンの超高速な動きに関する画像センシングを行うことができる。デンソーアイティラボラトリの関川雄介氏は，このカメラをベースとしたCV技術にいち早く注目し，高速に動く物体の認識や軌跡の追跡を実現するための新しいアルゴリズムの研究を展開している。関川氏には，最近の関連技術動向とご自身が進めていらっしゃる研究事例を紹介いただいた。
　CVの基盤技術の一つに，動画像における隣接フレーム間での特徴点の対応づけ・追跡がある。1990年代初頭に，これを活用してカメラの動きと対象シーンの3次元構造を同時復元する技術であるStructure from Motion（SfM）の研究が始まった。そして，これを活用した技術として，移動カメラで画像が得られるたびにカメラ自身の動きと対象シーンの構造を同時復元するSLAM（Simultaneous Localization and Mapping）技術が90年代後半から大きく進展した。この技術は，現在研究開発が盛んに行われている自動運転には不可欠で，重要な要素技術の一つとなっている。また，自動運転だけではなく，カメラを装着した人やロボットの自己位置推定と環境構造推定への期待も高く，これからさらに重要性が増していく技術である。特に近年では，カメラに加えて加速度センサーなどを併用することにより精度向上させる技術が大きく進歩してきた。このようなSLAM技術について豊富な経験を有する奈良先端科学技術大学院大学の内山英昭氏に，そのしくみと最新動向について解説いただいた。
　人をセンシング対象としたCVも大きく進展した。特に，人の多関節動作を画像から推定する技術は，2010年にマイクロソフトのKinectにその技術が利用されゲームのためのインタラクションに活用されて以降，多くの研究者たちの研究テーマとして研究が大きく進展してきた。慶應義塾大学の五十川麻理子氏は，このような人物姿勢推定に対して，推定対象人物を撮影した画像からのプライバシー漏洩の心配を軽減する一つのアプローチとして，撮影した画像をあえて使わない手法の研究開発を進めており，本特集ではこれらの研究を中心に紹介していただいた。
　人を対象としたCVは，1990年代にはコンピュータグラフィクスやバーチャルリアリティ技術と融合し，仮想空間と現実空間を複合した空間で人に対して情報提示する技術である複合現実感技術（MR）などの新しい研究分野を生んだ。それから四半世紀経った今では，MRは「メタバース」としてAIの作った新しい分野として再定義されており，そこにも当然のことながらCVが大きな役割を果たすことが期待されている。グラーツ工科大学の森尚平氏には，彼らが近年進めているAIやCVの最新技術を活用した新しい時代のMRに向けた研究の取り組みを紹介いただいた。
　さて，ここ数年の間にCVが新たな広がりを見せていることは，CVを利活用する研究者層も同時に拡大し，幅広い研究領域でCVに関連した研究が展開されていることにも示されている。その一つとして，エッジAIにおけるCVの活用が挙げられる。近年のAIに基づくCVの進歩は，強力な計算パワーをもつGPUの活用に依存するところが大きい。可能な限り潤沢な計算資源により，AIの性能を極限まで高めるためのアルゴリムを研究開発する方向性は，AIの可能性を高める重要な方向性の一つではあるが，一方で，社会に広くAIを活用されるという意味では，より小型で低消費電力な「エッジデバイス」で実装する技術も極めて重要である。慶應義塾大学の松谷宏紀氏は，次世代のエッジコンピューティング技術の第一人者として，自身が開発しているエッジデバイス上でCVに基づくアルゴリズムを実装して産業などに実利用するための研究開発を精力的に進めている。この特集では，計算能力の限られたエッジデバイス上で動作し，実世界でセンシングされるデータからの異常検知を実時間で実現した事例について紹介いただいた。
　以上のように，本特集では，CVの新しい潮流として，新しいセンサーデバイスや進化の止まらない機械学習やそれを実装する新しい計算リソースをたくみに活用しながら，さらなる情報技術革新に向けた研究を推進している新世代の研究者からの寄稿を集めたものである。今後の情報技術を牽引していくこれらの研究者だけではなく，この分野には多くの優れた人材がアカデミアだけではなく産業界にも多く集まってきている。本特集のテーマであるCVの新たな潮流は，このような次世代を担う研究者・技術者が創りだすものであることは間違いなく，それにより創造される来たるべき未来社会の姿を期待して巻頭言のまとめとしたい。