Reconstuction of 3-D Models of an Outdoor Scene
from Multiple Image Sequences
by Estimating Camera Motion Parameters

Tomokazu Sato  Masayuki Kanbara  Naokazu Yokoya


achievements


    


 Three-dimensional (3-D) models of outdoor scenes can be widely used in a number of fields such as object recognition, navigation, scenic simulation, and mixed reality. Such models are often made manually with high costs, so that automatic 3-D reconstruction has been widely investigated. In related works, a dense 3-D model is generated by using a stereo method. However, such approaches cannot use several hundred images together for dense depth estimation because it is difficult to accurately calibrate a large number of cameras. This research proposes a novel dense 3-D reconstruction method that uses multiple image sequences. First, our method estimates extrinsic camera parameters of each image sequences, and then reconstructs a dense 3-D model of a scene using an extended multi-baseline stereo technique.


Approach:
First, camera parameters of each image sequence are estimated in a single coordinate system. Then, dense depth maps of input images are computed by using an extended multi-baseline stereo method. Finally, a 3-D model is reconstructed by combining obtained dense depth maps in a voxel space.

1. Target object or scenes are captured by hand-held video camera


video capturing for an outdoor scene

2. 3-D coordinates of selected natural features are measured by total station. These natural features are used for incresing accuracy of camera parameter estimation.


3-D position mesurement of markers

3. Natural features and markers (measured natural feautres) are both tracked throughout an input image sequence.


natural feature tracking mpeg(3.0MB)


4. Now camera parameters of hand-held camera are reconstructed by shape-from-motion approach.


camera parameter estimation

5. Then, depth maps of every input image are estimated by using extended multi-baseline stereo technique.


dense depth estimation


6. Finally, several hundred depth maps are integrated in an voxel space.


reconstructed model  mpeg(3.2MB)


Other application of estimated camera parameter:


Match Move


MatchMove in Suzaku-mon mpeg(20.0MB)

Match Move in Suminodou mpeg(9MB)

Other experiments:
 


achievements :

Journal

Tomokazu Sato, Masayuki Kanbara, Naokazu Yokoya and Haruo Takemura
"Dense 3-D Reconstruction of an Outdoor Scene by Hundreds-baseline Stereo using a Hand-held Video Camera"
International Journal of Computer Vision, Vol.47, Nos.1-3, May 2002. (pdf)

佐藤 智和, 神原 誠之, 横矢 直和, 竹村 治雄
"マルチベースラインステレオ法を利用した動画像からの屋外環境の三次元モデル化"
バーチャルリアリティ学会論文誌, Vol.7, No.2, pp.275-282, June 2002. (pdf)

international conference

Tomokazu Sato, Masayuki Kanbara, Naokazu Yokoya and Haruo Takemura
"3-D modeling of an outdoor Scene by multi-baseline stereo using a long sequence of images"
Proc. 16th IAPR Int. Conf. on Pattern Recognition (ICPR2002) , Vol. III, pp. 581-584, August. 2002. (pdf)
Tomokazu Sato, Masayuki Kanbara, Naokazu Yokoya and Haruo Takemura
"Dense 3-D Reconstruction of an Outdoor Scene by Hundreds-Baseline Stereo Using a Hand-held Video Camera"
Proc. IEEE Workshop on Stereo and Multi-Baseline Vision, pp.57-61, December 2001. (pdf)

Tomokazu Sato, Masayuki Kanbara, Naokazu Yokoya and Haruo Takemura
"Dense 3-D Reconstruction from a Monocular Image Sequence by Estimating Camera Motion Patameters"
CD-ROM Proc. IEEE Computer Society Conf. on Computer Vision and Pattern Recognition (Technical Sketches), Kauai, Hawaii, December 2001.

Tomokazu Sato, Masayuki Kanbara, Naokazu Yokoya and Haruo Takemura
"3-D Reconstruction from a Monocular Image Sequence by Tracking Markers and Natural Features"
Proc. 14th Int. Conf. on Vision Interface 2001, pp.157-164, June 2001. (pdf)

全国大会

佐藤 智和, 神原 誠之, 横矢 直和
"複数の動画像系列を用いたマルチベースラインステレオによる屋外環境の三次元復元"
情報科学技術フォーラム(FIT) 情報技術レターズ, LI-14, pp. 151-152, September 2002. (pdf)

佐藤 智和, 神原 誠之, 横矢 直和, 竹村 治雄
"視点位置推定に基づく動画像からの屋外シーンの密な再構築"
平成13年電気関係学会関西支部連合大会・講演論文集 G17-16, pp. 366, November 2001. (pdf)
(平成13年電気関係学会関西支部連合大会奨励賞受賞)

佐藤 智和, 神原 誠之, 横矢 直和, 竹村 治雄
"視点位置推定に基づく動画像からの屋外環境の密な三次元復元"
2001年電子情報通信学会情報・ソサイエティ大会講演論文集 D-12-43, pp.218, September 2001. (pdf)

佐藤 智和, 神原 誠之, 竹村 治雄, 横矢 直和
"透視投影モデルにおける単眼動画像からの三次元復元"
2000年電子情報通信学会情報・ソサイエティ大会講演論文集 D-12-49, pp.236, September 2000. (pdf)
(2000年電子情報通信学会学術奨励賞受賞)

研究会

佐藤 智和, 神原 誠之, 横矢 直和, 竹村 治雄
"マーカと自然特徴点の追跡による動画像からのカメラパラメータの推定と三次元復元"
画像の認識・理解シンポジウム(MIRU2002)講演論文集, Vol. II, pp. 7-12, August 2002. (pdf)

佐藤 智和, 神原 誠之, 横矢 直和, 竹村 治雄
"マルチベースラインステレオ法を利用した動画像からの屋外環境の三次元モデル化"
信学技報,PRMU2001-233, February 2002. (pdf)

佐藤 智和, 神原 誠之, 横矢 直和, 竹村 治雄
"視点位置推定による動画像からの屋外環境の三次元モデル化"
画像電子学会第190回研究会講演予稿, pp.49-55, November 2001. (pdf)

佐藤 智和 , 神原 誠之, 竹村 治雄, 横矢 直和
"マーカと自然特徴点の追跡を用いた単眼動画像からの三次元復元"
VR学研報, Vol.5, No.2, pp.5-10, January 2001. (pdf)

佐藤 智和, 神原 誠之, 竹村 治雄, 横矢 直和
"単眼動画像からのマーカと自然特徴点の自動追跡による三次元復元"
信学技報,PRMU2000-144, December 2000.

佐藤 智和, 神原 誠之, 竹村 治雄, 横矢 直和
"単眼動画像からのマーカと自然特徴点の追跡による三次元復元"
画像電子学会第182回研究会講演予稿, pp.29-34, November 2000.

第一著者以外のもの

池田 聖, 佐藤 智和, 横矢 直和
"全方位型マルチカメラシステムのキャリブレーションによる全天球動画像の生成"
電気関係学会関西支部連合大会講演論文集, No. G13-27, November 2002.

池田 聖, 佐藤 智和, 横矢 直和
"全方位型マルチカメラシステムのキャリブレーション"
情報科学技術フォーラム(FIT) 情報技術レターズ, LI-13, pp. 149-150, September 2002.

山本 光重, 佐藤 智和, 横矢 直和
"実写映像を利用した花火演出支援システムFirePainter"
バーチャルリアリティ学会論文誌, Vol.7, No.3, pp. 385-392, October 2002.

山本 光重, 佐藤 智和, 横矢 直和
"実写映像を利用した花火演出支援システムFirePainter"
画像の認識・理解シンポジウム(MIRU2002)講演論文集, Vol. II, pp. 231-238, Aug. 2002.

山本 光重, 佐藤 智和, 横矢 直和
"実写映像を利用した花火演出支援システム"
電子情報通信学会 技術研究報告, IE2001-199, Jan. 2002.

山本 光重, 佐藤 智和, 横矢 直和
"IBRによる描画を利用した花火演出支援システム"
日本バーチャルリアリティ学会第6回大会論文集 , pp. 15-16, Sep. 2001.


LINK:
:
 Nara Institute of Science and Technology

 Graduate School of Information Science

 Our Lab 

 phone +81-743-72-5296
 FAX +81-743-72-5299
 E-mail