RotationNet + 多視点画像データセット

認識・モデル化・予測モジュール

研究のポイント

日用品を360度あらゆる角度から認識するシステムを開発しました。​
カメラを動かして物体を見る角度を変えることで、徐々に認識精度が向上する実時間システムです。本研究では姿勢推定モジュールを持つ深層学習手法を新たに提案し、3次元物体検索の国際的コンペティションSHRECの2部門で世界一位の成績をおさめました。また、認識学習用として様々な角度から撮影した12種132個21,120枚の日用品画像データセットを構築し、インターネット上で公開しています。

キーワード:
  • 物体認識
  • 深層学習
  • 多視点画像データセット

モジュール・データの概要

深層学習ベースの物体認識に姿勢推定モジュールを導入することで、物体のカテゴリと姿勢の両方を高精度に推定する手法を開発しました。バラバラな姿勢の物体のデータセットを学習過程で自動的に整頓し、様々な角度から見た物体の表現を自動的に獲得することができます。また、カメラを動かしながら物体を撮影することで高い精度の物体認識が可能になります。三次元形状データから同種類の物体を検索する世界的コンペティションでは世界1位の成績をおさめました。

推定とカテゴリ推定の同時学習

想定されるアプリケーション

深層学習ベースの物体認識に姿勢推定モジュールを導入することで、物体のカテゴリと姿勢の両方を高精度に推定する手法を開発しました。バラバラな姿勢の物体のデータセットを学習過程で自動的に整頓し、様々な角度から見た物体の表現を自動的に獲得することができます。また、カメラを動かしながら物体を撮影することで高い精度の物体認識が可能になります。三次元形状データから同種類の物体を検索する世界的コンペティションでは世界1位の成績をおさめました。

認識エンジンを使った物体検索のイメージ
研究開発プロジェクト NEDO 次世代人工知能・ロボット中核技術開発の成果
研究機関 国立研究開発法人 産業技術総合研究所
主要研究者 金崎 朝子
関連URL