テクノロジー

多くの実績をもつAR&画像処理技術

Qonceptは大阪大学での AR(拡張現実感) 技術の基礎研究をベースとして、スマートフォン等の低スペック環境から放送機器のようなハイスペック環境まで、利用シーンに応じて認識アルゴリズムを自社単独で開発・改良してきました。特に、 AR で求められるような リアルタイム画像処理 を得意としていて、スポーツの世界大会での生放送やライブイベントなど大きな舞台での実績を数多く積んでいます。また、AR技術から派生して、機械学習ベースの画像トラッキングや画像認識の技術も近年では重点的に研究開発しています。

トラッキング技術: Qoncept 4D Tracker

弊社で開発した画像トラッキングシステム 「Qoncept 4D Tracker」は機械学習と独自の特徴量抽出アルゴリズムによって実現されるトラッキングシステムです。

トラッキング手法

このシステムは2つの学習ベースのトラッキング手法を持っています。 1つは事前の学習によってトラッキングを実現する方法で、想定されるトラッキング対象の様々な画像から学習サンプルを集めトラッキングのための学習器を生成しておく方法です。 もう一つは事前学習なしでトラッキングする方法で、手動もしくは別の検出器で初期値として与えた画像から、対象の移動モデルをヒントに対象の移動や回転などによる見た目の変化を次々に学習していきます。

トラッキング
トラッキング
対象の向きによるアピアランス変化

特徴量抽出

画像からの特徴量抽出の方法も独自で開発しており、高速に動作するだけでなく、対象の画像サイズが小さくても検出が可能です。たとえばバレーボールのトラッキングにおいては、ボールのサイズは直径15-20ピクセル程度なのですが、Qoncept 4D Trackerでは安定してトラッキングし続けることができます。

3次元復元

2つ以上のカメラをつかったマルチビュートラッキングによって、対象の実寸の3次元座標を復元できます。この復元された3次元座標の時間方向の変化から速度も計算可能です。またこの速度変化を解析することでボールを打ったタイミングやその時の打点、プレーの種類など(アタック、レシーブ、トスなど)の推定をすることも可能です。

トラッキング
3次元復元されたバレーボールの軌道

Visual SLAM

SLAM(Simultaneous Localization and Mapping)はカメラで撮影された映像から環境の3次元情報とカメラの位置姿勢を同時に推定する技術です。弊社では特に単眼やステレオ画像を用いた画像処理ベースのSLAMを1920x1080 60fpsの映像でリアルタイムに動作させる技術を保有しています。

採用事例

株式会社テレビ朝日様と共同開発した「福岡国際マラソン」の事例では、ヘリコプターの移動やカメラのパンチルトをリアルタイムに推定することで、位置姿勢によって変化する街並みの空撮映像とCGのマラソンコースのバーチャル合成を実現しました。この演出はSLAMを放送に用いた日本初の事例となり、「平成26年日本民間放送連盟賞(技術部門)」「2013年度日本映画テレビ技術協会技術開発賞」を受賞しました。

Visual SLAM
空撮映像中から抽出された特徴点と推定された地上座標系
Visual SLAM
合成されたCG

Visual SLAMで使われる技術

弊社で用いる手法としては、速度優先の特徴点/線ベースで3次元構築する手法や、精度優先で特徴点+特徴点周辺の画素の3次元構築を行うsemi-denseな手法があり、用途や求められるパフォーマンスに応じてカスタマイズすることが可能です。一度認識をロストした際には、ARで使われる特徴点ベースの初期位置推定技術が使用され即座にSLAMを復帰するすることができます。

PTZ推定

三脚にカメラを乗せた時のようなパン・チルト・ズーム(ロール)の推定に限定したSLAM技術も独自で保有しており、この場合レンズのズームとレンズ歪みの急速な変化にも対応して非常にロバストに動作します。

Visual SLAM
抽出された特徴点
Visual SLAM
PTZ: ゴルフ中継の事例

AR(拡張現実)

自社開発かつ軽量化された先端技術

技術開発は日本国内にて実施しており、ライセンスを他社より受けている技術ではありません。処理を高速化する軽量化された技術は、リアルタイム性やパフォーマンスを重視する領域において利用されています。

なお、一部のコア技術は特許取得済です(特許第5500400号 特許第5500404号 特許第5743994号)。

カスタマイズと拡張性に対するサービス

AR・画像認識技術は自社開発のため、利用用途に応じてARエンジンのコア・アルゴリズムに対するカスタマイズや、新たな認識機能追加等の拡張を自社で行うことができる点が最大の特徴です。また、案件によってはアルゴリズムを開発している研究者をアサインし、クライアントと一丸となってAR技術を活用した新しい表現や技術開発を行います。

プラットフォームニュートラル

QonceptのAR・画像認識技術はデバイスを限定しません。Windows、MacOS、Linux、iOS、Android、Nintendo3DSから組込系まで幅広くサポートします。同時にUnity、cocos2d-x等、汎用的に利用されている開発用ツールもサポートいたします。

マーカーレス型ARエンジン

画像認識

一般的な平面の画像を認識する方式です。あらかじめ学習された画像中の特徴点を検出・追跡し、ARを実現します。大規模認識=数百~数万の画像の識別にも対応しています。

立体認識

平面状の物体ではなく、立体的な形状を持つ対象物体を認識させる方式です。3Dモデルデータや複数毎の写真から3次元の特徴点データを事前に取得しARを実現します。

風景認識

通常、建造物や一般的な風景をマーカーレス認識対象とすることは難しいですが、あらかじめ撮影された動画データなどから画像処理によって対象の3次元計測を行うことで、 これまでのマーカーレス型ARのように空間そのものを認識させることが可能です。

シンプルターゲット

一般的なマーカーレスARエンジンの場合、認識を行うためには通常多くの特徴点が必要となりますが、Qoncept AR Engineでは特徴点の数が極端に少なくても認識を行うことが可能です。

マーカー型ARエンジン

矩形マーカー認識

登録された矩形マーカーをカメラ画像中から認識し、幾何学的な位置関係を計算することでARを実現します。

符号化矩形マーカー認識

矩形マーカーにビットコードを埋め込むことで、数百万のマーカーを識別できるようにしたものです。ARではリアルタイム認識が重要なため、高速に識別できるよう最適化されています。

センサー型ARエンジン

センサー型

スマートフォン等のデバイスに内蔵されている加速度センサーやジャイロスコープ、GPS、電子コンパス等を利用して、デバイスの位置・姿勢を推定し、ARを実現します。

モーションセンサー型

Kinect等のモーションセンサーを使用して、ユーザートラッキングやジェスチャー認識を行い、ARを実現します。

認識手法の比較

各認識手法には一長一短があり、環境や用途によって選択すべき手法が変わってきます。 スマートフォンを用いたAR導入をご検討して頂く際の参考情報として、マーカー型、マーカーレス型、センサー型のそれぞれの特徴をまとめました。

パフォーマンス デザイン制約 認識(使用)範囲 適している利用シーン
マーカー型

Positive

計算コストが低く、多数のマーカーも同時に認識可能

Neutral

マーカーデザイン制約(矩形枠が必要等)がある

Neutral

小さくても認識できるが、マーカー全体が写っている必要がある

  • 屋外広告連動施策等、マーカーを目立たせたいケース
  • スペックの低いデバイスを対象としたいケース
マーカーレス型

Neutral

計算コストが高く、多数のものを同時に認識させるには不向き

Positive

特徴点情報が一定量存在すれば認識対象のデザインは自由

Neutral

一部の特徴点情報が取得できればAR表示できるが、画面にある程度以上のサイズで表示されている必要がある

  • デザイン性が求められる媒体でARを行うケース
  • 認識対象の体裁は変えずにARを付加的に提供するケース
センサー型

Neutral

多くのセンサーを複合的に使用するため、重くなる傾向にある

Negative

認識対象とコンテンツを連動させることができない。

Positive

オフセットによる誤差が生じるケースもあるが、基本的にどのような場所でも使用できる。ただしGPSは原則として屋外での使用

  • 空間やスマートフォンの動きを活用したARを実施するケース

※マーカー/マーカーレス型との併用が一般的