みんなの首里城デジタル復元
プロジェクト


何のためのプロジェクト？

私たちは、コンピュータ・ビジョン（CV）、ヒューマン・コンピュータ・インタラクション（HCI）、バーチャル・リアリティー（VR）の問題や、それに関連する問題を研究している研究者と学生です。2019年10月31日の首里城の焼失に心を痛めています。同じく悲しんでいるみなさんを少しだけ元気づけられたらと願って、このプロジェクトを立ち上げました。

コンピュータにおける画像の処理を対象とするコンピュータ・ビジョンという分野に、Structure from Motion（SfM）という技術があります。これは、異なる視点からの写真やビデオを使って三次元形状を復元する技術です。上のCGは、私たちが画像検索によって収集した画像から公開されているSfM用のソフトウェアを使って復元したものです。もっと沢山の視点の写真やビデオがあれば、もっと綺麗なものができると思います。そこで、首里城のデジタル復元にむけて、みなさんがお持ちの写真やビデオを私たちに共有してください。

集めた画像・映像データから何ができるでしょうか。SfM自体は成熟しつつある技術で、技術上の学術的な貢献をするのは難しいかもしれません。しかし、作ったモデルは、上のCGのようにウェブ上で楽しむことができます。このモデルを使ってコンテンツを作れば、たとえばARメガネ越しに、失われてしまった部分を現地の風景と重ね合わせて楽しむことができるでしょう。ヘッドマウントディスプレイを使えば、現地に行かれない人でも臨場感をもって首里城を体験することができます。撮影された時期がわかるものが沢山あれば、時代によって変わりゆく首里城を体験することもできるでしょう。焼失してしまった部分が再建されるまで、失われた観光資源を少しでも回復できることを願っています。学術的な貢献ができるのであれば、もちろん許可を得たものは公開できるように整えます。

あなたの首里城の写真やビデオを、私たちに共有してください。

復元に協力する

現在みなさんからデータを共有して頂く準備を進めています、開始は2019/11/4を予定しています。

Coming Soon

どうして私たちがやっているの？

私たちはSfMの研究者や開発者ではありませんが、大きな目でみるとこの技術に近いところにいます。

1980年代にSfMの初期のアイディアが発表されてから、素晴らしい研究者らが切磋琢磨して研究を続け、現在は上のCGのように、みなさんのPCでも復元が簡単にできるようになっています。火事のあった週に重なって開催されていたコンピュータ・ビジョンの国際会議である International Conference on Computer Vision (ICCV) では、10年前に発表されたインパクトのある論文に贈られるHelmholtz賞を、Building Rome in a Dayという論文が受賞しました。火事のあった日の二日前のことでした。この論文は、数十万枚の画像をSfMに入力し、それを多数のコンピュータで効率的に並列処理するためにはどう工夫すればよいかを論じたものです。

Building Rome in a Dayはすでに10年前の論文で、それ以降SfMの技術も成熟しつつあります。このSfMを応用したVisual SLAMという技術は、自動運転車やモバイルロボットの実現に向けて研究開発が進んでおり、応用された製品をすぐに見ることになるでしょう。

メンバーの一部は文化財のデジタル保存の研究に深く関わってきて、ICCVでちょうど文化財のデジタル保存のためのワークショップをしていました。火事のニュースを見た時、Building Rome in a Dayの技術を使って、悲しんでいるみなさんのために何かをすべきだと思いました。また、このような協力の仕方を通じて、みなさんに私たちの分野を知ってもらえること、そしてこの分野の研究が役に立つと思ってもらえることが、私たちにとってとてもありがたいことです。

メンバー

  1. 川上 玲（東京大学）
  2. 邵 文（東京大学）
  3. 亀井 郁夫（東京大学）
  4. 五日市 創（東京大学）
  5. 苗村 健（東京大学）
  6. 瀧川永遠希（University of Waterloo）
  7. 平木 剛史（大阪大学）

参考文献

  1. Changchang Wu, "Towards Linear-time Incremental Structure From Motion", 3DV 2013
  2. Changchang Wu, "VisualSFM: A Visual Structure from Motion System", http://ccwu.me/vsfm/, 2011
  3. Changchang Wu, Sameer Agarwal, Brian Curless, and Steven M. Seitz, "Multicore Bundle Adjustment", CVPR 2011
  4. Changchang Wu, "SiftGPU: A GPU implementation of Scale Invaraint Feature Transform (SIFT)", http://cs.unc.edu/~ccwu/siftgpu, 2007
  5. Yasutaka Furukawa, Brian Curless, Steven M. Seitz, and Richard Szeliski, Towards Internet-scale Multi-view Stereo, CVPR 2010.
  6. Michael Kazhdan, Hugues Hoppe, "Screened poisson surface reconstruction", ACM Transactions on Graphics (TOG), Volume 32 Issue 3, June 2013
  7. P. Cignoni, M. Callieri, M. Corsini, M. Dellepiane, F. Ganovelli, G. Ranzuglia, "MeshLab: an Open-Source Mesh Processing Tool", Sixth Eurographics Italian Chapter Conference, page 129-136, 2008
  8. Sameer Agarwal, Yasutaka Furukawa, Noah Snavely, Ian Simon, Brian Curless, Steven M. Seitz, and Richard Szeliski. 2011. Building Rome in a day. Commun. ACM 54, 10 (October 2011), 105-112.

更新履歴

2019/11/01 本サイトをプレオープン
2019/11/03 本サイトをアップデート