全方位画像センサによる
ネットワークを介した遠隔監視システム

 近年、ビルのような複数の部屋や複数のビルを一括監視する場合に代表される遠隔地の監視への要求が高まっている。本研究では,全方位画像センサとネットワークを利用した分散処理による実時間監視システムを開発した.従来の監視システムの多くは固定カメラや可動カメラを使用しているため、環境全体の画像を取得できない。一方、全方位画像センサを使用した監視システムは常に環境全体を監視することができるが、ビル全体など多くのセンサを必要とする環境には適用できない。本システムはサーバ/クライアントモデルであり,まずサーバ側において監視したい環境を全方位画像センサによって撮影し、その画像より移動物体を検出し,センサからの移動物体の方位を推定する.その全方位画像と方位情報をネットワークを利用してクライアント側に転送し、時系列の方位情報を用いて移動物体の同定を行い,物体方向の画像提示による追跡を行う.
詳細ページへ
HyperOmni Vision グループのページへ









全方位動画像を用いた両眼ステレオ
画像の実時間生成システム

 
遠隔地の情景を画像として提示するテレプレゼンス技術では臨場感豊かに情景を提示することが重要である.その条件として見回しと立体視が可能であることが挙げられる.方向を制御できる可動ステレオカメラを用いることにより遠隔地の情景を広い視野で立体視することは可能であるが,利用者が視線方向を指示してからカメラを回転させるため見回しに関して時間遅延が生じる.本研究では,移動経路と速度が既知である全方位画像センサを用いて撮影した全方位動画像から,任意方向の擬似的な両眼ステレオ画像を光線の情報を用いることにより実時間で生成する手法を提案する. 
詳細ページへ
HyperOmni Vision グループのページへ




全方位画像センサを用いた
遠隔臨場感(テレプレゼンス)システム

 移動ロボットの遠隔操作や多人数で行う遠隔通信会議などにおいて,遠隔地の情景を画像として提示するテレプレゼンス技術の必要性が高まっている.遠隔地の情景を観察者の視線方向に追従して提示するには回転代に取り付けたカメラを利用するのが一般的であるが,この方法では視線方向と提示される画像の方向に時間遅延が生じる.本研究では全方位画像センサHyperOmni Visionで得られた全方位画像から利用者の視線方向の透視投影画像を生成・提示することにより,見回しに関する時間遅延がほとんどないテレプレゼンスシステムを開発した.本システムは実時間テレプレゼンスと蓄積再生型テレプレゼンスの両方に適用可能である.また,複数人が同時に異なる方向を見渡すマルチユーザシステムへの拡張が容易であるという特徴を持っている.

主要文献
山澤 一誠, 竹村 治雄, 横矢 直和: "全方位画像センサによるテレプレゼンスの様々な実装", 2001年電子情報通信学会情報・システムソサイエティ大会講演論文集 , No. D-12-36, Sep. 2001.(奨励賞受賞)
山澤 一誠, 竹村 治雄, 横矢 直和: "全方位HDカメラを用いたテレプレゼンスシステム", 電子情報通信学会 技術研究報告, PRMU2001-68, July 2001.
山澤 一誠, 尾上 良雄, 横矢 直和, 竹村 治雄: "全方位画像からの視線追従型実時間画像生成によるテレプレゼンス", 電子情報通信学会論文誌(D-II), Vol. J81-D-II, No. 5, pp. 880-887, May 1998.
HyperOmni Vision グループのページへ




全方位画像センサを用いた
テレプレゼンスによる移動ロボットの遠隔操縦

 移動ロボットの遠隔操縦のためのテレプレゼンス手法として, 移動ロボットの状態に応じて提示画像を切り替える手法を提案する.従来,ステレオカメラや全方位画像センサを用いたテレプレゼンスの研究が盛んになわれているが,前者は見回しに機械的遅延が生じ,後者は生成されるステレオ動画像には時間遅れがあるなど,移動ロボットの遠隔操縦における 画像提示システムとして用いるには制約が多い. そこで,一台の全方位画像センサを用いて,移動時には任意視線方向の単眼動画像を, ロボットが静止した場合には任意視線方向のステレオ画像を提示することにより, 操作者へ頭の向きに時間遅延なく追従した自由な見回しと,奥行き知覚を可能とした画像提示手法 を提案する.又,提案手法を用いたロボットの遠隔操縦システムを試作し操作実験を行ない, 有効性について評価した.

主要文献
米田 美里, 山澤 一誠, 竹村 治雄, 横矢 直和: "全方位動画像からの両眼ステレオ画像生成による移動ロボットの遠隔操縦", 電子情報通信学会 技術研究報告, PRMU2000-107, Nov. 2000. (pdf file)

HyperOmni Vision グループのページへ





単眼動画像からの屋外環境の三次元モデル化

 屋外環境の三次元モデルは, 景観シミュレーション, ナビゲーション, 複合現実感などの幅広い分野で利用されている. しかし現在, このような分野で用いられる三次元モデルは, 三次元モデラなどを用いて手動で作成されており, これには多大な労力が必要である. このため, コンピュータビジョンの分野において, 複数の画像を用いてモデルの作成を自動化する研究が盛んに行われている. 本研究では, まず, 従来我々が提案したマーカと自然特徴点の追跡に基づくカメラパラメータの復元手法を用い, 数百枚から成る動画像からカメラの外部パラメータを効率的かつ安定に復元し, 復元したカメラパラメータを用いたマルチベースラインステレオ法により, 数百フレームのシーンの奥行きを密に推定し, それらをボクセル空間を利用して統合することで屋外環境を密に三次元復元する手法を提案する. 

主要文献
T. Sato, M. Kanbara, N. Yokoya, and H. Takemura: "Dense 3-D Reconstruction of an Outdoor Scene by Hundreds-baseline Stereo using a Hand-held Video Camera", International Journal of Computer Vision (IJCV2002), Vol. 47, No. 1-3, pp. 119-129, April 2002.
佐藤 智和, 神原 誠之, 横矢 直和, 竹村 治雄: "マルチベースラインステレオ法を利用した動画像からの屋外環境の三次元モデル化", バーチャルリアリティ学会論文誌, No.7, Vol.2, 2002 (pdf file)

詳細ページへ










全方位型マルチカメラシステム用いた
全天球パノラマ画像の生成
本研究では全方位型のマルチカメラシステムに対して大規模な装置や設計パラメータなしにカメラ間の幾何学的光学的なキャリブレーションを行なう手法を提案する.本手法では,まず格子模様を印刷した板の奥行きを変えて複数回撮影し,そのマーカボードの三次元位置を三次元位置計測器により計測することで,十分な数のマーカを空間上に仮想的に配置し,幾何学的なキャリブレーションを行なう.次に,明度低下現象やカメラ間の色調について考慮し,光学的なキャリブレーションを行なう.実験では実際に入力画像から全天球画像を作成することで,正しいキャリブレーションが可能であることを示す.
詳細ページへ










全周パノラマステレオ画像と
CGモデルの合成による
複合現実環境の構成


 近年の計算機技術の進歩により,様々な仮想環境の構成が可能となってきている.その中でも都市や自然環境などを対象とした仮想環境の構成を行なうことは,都市工学,交通工学,教育,アミューズメントなど広範囲での活用が期待される.しかし,実用的な応用が可能な仮想環境の構成を目的とした場合,対象とする現実環境が広域になるとその三次元モデル化の難しさが指摘されている.そこで本研究では,広域な現実環境の仮想環境への取り込みを目的とし,奥行き情報を持つ全周実環境モデルとコンピュータグラフィクス(CG)モデルを合成した仮想環境の構成法について提案する.

主要文献
島村 潤, 山澤 一誠, 竹村 治雄, 横矢 直和: "全周パノラマステレオ画像とCGモデルの合成による複合現実環境の構築", 情報処理学会論文誌 :コンピュータビジョンとイメージメディア, Vol. 42, No. SIG6(CVIM2), pp. 44-53, June 2001.
詳細ページへ








拡張現実感のためのビジョンセンサとジャイロセンサの組合せによる位置合わせ
 本研究では,ビジョンセンサとジャイロセンサを組み合わせた拡張現実感のための位置合わせ手法を提案する.ビジョンセンサとしてステレオカメラを用い,ステレオカメラから得られる特徴点の距離情報とカメラに取り付けたジャイロセンサから得られるカメラの姿勢情報により特徴点の移動位置を予測し,ビジョンセンサにより特徴点を追跡することにより位置合わせを行なう.
詳細ページへ






ウェアラブルコンピュータを用いた拡張現実感システム
ウェアラブルコンピュータとは、ユーザが装着して歩き回ることができるコンピュータのことを言います。また、拡張現実感技術(Augmented Reality)とは、現実環境の映像にCGを付加する技術のことです。この拡張現実感技術をウェアラブルコンピュータ上で実現することで、ユーザにユーザの現在位置に応じた様々な情報を提示することが可能になります。しかし、現実環境の映像の正しい位置にCGを合成するためには、ユーザの位置と姿勢を正確に計測する必要があります。ユーザの姿勢の計測は、ジャイロセンサを用いるのが一般的です。現在、ユーザの位置を計測するための様々な手法が研究されていますが、横矢研WARS班では二つのアプローチを研究しています。ひとつは、カーナビなどで用いられているGPSを利用して屋外環境の任意地点でユーザの位置を測定する方法です。もうひとつのアプローチは、赤外線ビーコンと歩数計測を使ってユーザの位置を推定する手法です。

主要文献
天目隆平, 神原誠之, 横矢直和: "拡張現実感技術を用いたウェアラブル型注釈提示システム", 2002年電子情報通信学会総合大会講演論文集 , No. A-16-46, March 2002.
詳細ページへ
紹介ムービー(13Mbyte)






車載型拡張現実感システム
近年, 位置に応じて, 地図や店舗情報を提供する現在地情報サービス, 道案内などのナビゲーションサービスが普及し始めている. 特にカーナビゲーションは現在位置を表示し, 周囲の情報を取得することができる. しかし, これらの情報の提示手法として, デジタル地図上に表示する手法を用いているため, 現実環境に対してその情報を直接対応付けることが困難である. 本研究では, 拡張現実感技術を用いた位置に依存した情報の提示手法を提案する. 本手法では, カメラによって取得した現実環境に対して,GPS, 車速パルス, ジャイロなどから得られる利用者の位置, 姿勢情報を用いて, 注釈重畳画像を実時間で生成し, 利用者へ提示することにより, 情報を直感的に取得できるシステムの構築を目指す.

主要文献
寺田 智裕, 神原 誠之, 横矢 直和: "拡張現実感を用いた車載型アノテーションシステムの構築", 電子情報通信学会 技術研究報告, CQ2001-103, Feb. 2002.




2次元平面と3次元空間の組み合わせによるモデリング環境

 
3次元形状のモデリングに用いられている3次元CGソフトウェアは2次元画面上で作業を行うのが一般的であるが,近年,人工現実感の分野では3次元空間でのモデリング作業を前提とした没入型モデラの開発が盛んに行わ れている.これら2つのモデリング環境はその作業空間の次元数に起因する利点と欠点をそれぞれに持っている.本研究では2次元平面と3次元空間でのモデリングを単一の作業空間で行うことが可能で,双方の利点を兼ね備えたモデリング環境を提案する. 
詳細ページへ







自由形状モデリングのための
陰関数曲面を用いた
仮想粘土細工システム


 
3次元コンピュータグラフィクスにおいて,従来のモデラによる自由形状のモデリングは難しく,より簡単な操作でモデリングを行えるモデラが望まれる.本論文では,粘土細工を行うような感覚で自由形状のモデリングが行える仮想粘土細工システムについて述べる.本システムでは,仮想現実感技術と陰関数曲面を用いることにより,手を用いて直接的に仮想粘土へ凹凸を加えるという形状の変形を実現している.形状変形に際しては,陰関数曲面の定義を利用して,形状の衝突判定や変形処理に複雑な処理を必要とせず,その定義から自然に変形を表現している.一方で,仮想空間では,自由形状の変形やユーザの視点移動による画像を実時間で提示する必要がある.そこで,陰関数曲面を効率良くポリゴン表現に変換する手法を提案し,高速な描画を実現する.最後に,実装したシステムによるモデリング例を示し,粘土細工のような手を用いた対話的かつ直感的な操作によって,自由形状を短時間でモデリングできることを示す.



表面反射特性の推定に関する研究
実環境に仮想物体を合成表示する複合現実感の研究において,より写実性の高い表現を行うために現実物体を仮想化することが有効となっている.特に物体の表面反射特性を仮想化することは実環境と仮想化された物体との間の陰影矛盾を解決するために重要である.この問題に対して我々は,物体の距離画像と表面のテクスチャ画像から物体の反射特性を密に推定する研究を行ってきた.しかし複雑な形状を有する物体に関しては,物体表面上での 次反射による相互反射の影響が生じ,物体表面反射特性の推定を正確に行うことは困難であった.そこで本報告では,物体表面における相互反射の影響を考慮して反射特性を推定する手法を提案する.具体的には,まず反射成分を物体面上の多くの点で観測するために物体の形状をもとに光の照射方向に関する照明条件を決定する.そして決定された複数の照明条件と計測データから物体表面における光の熱エネルギーの放射率(ラジオシティ)に基づき,表面の反射特性を物体面上の各点で推定する.実験では,推定された反射特性をもとに物体を合成することで,様々な仮想環境内の照明条件に対して忠実に物体を表現できることを示す

主要文献
町田 貴史, 竹村 治雄, 横矢 直和: "複数の照明条件の組み合わせによる物体の表面反射特性の密な推定", 電子情報通信学会論文誌(D-II) , Vol. J84-D-II, No. 8, pp. 1873-1881, Aug. 2001.
詳細ページへ
CGグループのページへ





情報の視覚化に基づく問合せによるデータマイニング

 近年,データベースから有用な知識を発見する技術としてデータマイニングが注目を集めている.ここで,有用な知識とはデータベースの部分集合に共通な規則性のことを指すが,その導出のための従来手法としては,データベースを自動的に探索する手法が一般的である.しかし,規則性の有用性の定義の困難さから,ユーザが望まない結果が主に出力されるなどの問題点がある.そこで本研究では,ユーザが持つ仮説に対して検証と修正を繰り返して評価の高い仮説を得る手法に注目した.この手法は問合せによるデータマイニングと呼ばれ,ユーザが知識発見に加わることで無意味な発見を回避することが可能である.しかし,この手法においてはユーザ自身が規則性を有するデータの部分集合の発見を行うため,有用な規則性を発見するためにはユーザがデータベースの概要を把握することが必要になる.そこで,本研究では,問合せによるデータマイニングを全体的に効率良く行うために,データベースの可視化を用いて問合せによるデータマイニングを視覚的に支援する手法を提案した.また,提案手法の有効性を示すため,提案手法を実装したシステムを用いた問合せによるデータマイニングに関する評価実験を行った.

主要文献
吉吉 健太郎, 岩佐 英彦, 竹村 治雄, 横矢 直和: "可視化されたデータベースからの規則性発見に基づくデータマイニング", 電子情報通信学会 技術研究報告, EID98-173, Feb. 1999.






カラーヒストグラムを用いた構図の自動抽出に基づく類似画像検索手法

 近年, 検索者の意図を柔軟に反映することのできる画像検索システムへの要求が高まっている. 従来の画像検索手法の大半は, 画像全体から抽出した単一のカラーヒストグラム等を画像の類似性評価に用いているが, 画像内での色の空間分布の情報が失われてしまうために, 検索者の意図に反して外観の全く異なる画像が検索結果として提示される場合が少なくない. そこで本研究では, 画像の構図に注目し, 画像平面内の色の空間分布から画像を複数の小領域に分割し画像の構図を決定することにより, 色の類似性と構図の類似性を同時に評価する画像検索手法を提案した. また, 画像データ集を用いた実験により, 提案手法が, 画像全体から抽出した単一のカラーヒストグラムを用いた手法と比較して, 人間の直観に沿った画像検索が可能であることを示した.

主要文献
山本 英典, 岩佐 英彦, 竹村 治雄, 横矢 直和: "色情報の空間分布を考慮した類似画像検索", 電子情報通信学会 技術研究報告, EID98-171, Feb. 1999.