何のためのプロジェクト?
2019年10月31日、火災により首里城が焼失しました。世界中の人々がみな心を痛めており、私たちもとても悲しく思っています。私たちは、コンピュータ・ビジョン、ヒューマン・コンピュータ・インタラクション、バーチャル・リアリティーの問題や、それに関連する問題を研究している研究者や学生やエンジニアです。この立場にいる者として、同じく悲しんでいるみなさんを元気づけられたらと願って、このプロジェクトを立ち上げました。
コンピュータにおける画像の処理を対象とするコンピュータ・ビジョンという分野の技術の中に、写真やビデオの映像から実在する物の形や色を復元するものがあります。これは文化財のデジタル保存に役立てることができ、eHeritageといった研究プロジェクトがこれまで取り組まれてきました。
火災のニュースを聞いて、私たちはこれらの技術に携わるものとして、首里城の3Dモデルを復元し、失われた部分が再建されるまで、観光資源の回復に少しでも役立てたいと思いました。上のビデオで、このプロジェクトのコンセプトを紹介しています。そこで使われた3Dモデルは、私たちが画像検索によって収集した画像から、公開されているソフトウェアを使って復元したものです。もう少し沢山の視点の写真やビデオがあれば、もっと綺麗な3Dモデルを作ることができます。この3Dモデルをみなさんの写真やビデオによって作り、思い出を共有したいと思います。みなさんのデータによる首里城のデジタル復元にむけて、お持ちの写真、ビデオ、思い出を、私たちに共有してください。
みなさんから集めた写真やビデオで作ったモデルや、シェアして下さった思い出のメッセージで、何ができるでしょうか。たとえば、これらを使ってコンテンツを作れば、スマートグラスやスマートフォンのカメラ越しに、失われてしまった部分を現地の風景と重ね合わせて見ることができます。また、あなたの写真やビデオが撮影された場所で、同じ写真やビデオを再生して、昔の思い出を懐かしむこともできるでしょう。望むのであれば、近くにいる人とこれらの思い出を共有することもできます。ヘッドマウントディスプレイを使えば、たとえ現地にいなくても、同じ体験することができます。また、時代ごとに3Dモデルを復元すれば、時代によって変わりゆく首里城を体験することもできるでしょう。さらには、これまでどんな人がどんな風に首里城を眺めてきたのかを振り返ることもできるでしょう。集めたデータは、研究や教育のための貢献ができるのであれば、許可を得たものについてはプライバシーに配慮した上で公開できるように整えます。
あなたの首里城の写真、ビデオ、思い出を、みんなと共有してみませんか。
OUR Shurijoに協力する
お待たせしております。現在みなさんからデータを共有して頂くための最終準備中です。もう少々お待ち下さい。
どうして私たちがやっているの?
私たちはボランティアで集まったメンバーで、火事のニュースを見た時、とても悲しく思ったと同時に、コンピュータ・ビジョンの分野の三次元復元の技術を使って、みなさんからデータを集め、首里城を復元することに社会的な意味があるように思いました。首里城の損失は計り知れませんが、みなさんのデータで復元された3Dモデルは、きっと多くの方を勇気づけ、長く人の心に残ると思ったからです。幸い、私たちの中には、様々なことを研究しているメンバーがいます。アイディアを出しあって、社会に広く意味がある活動をしようと決めました。
コンピュータ・ビジョンという分野の中に、Structure from Motion(SfM)という技術があります。これは、異なる視点からの写真やビデオを使って三次元形状を復元する技術です。私たちの復元もこの技術を利用しています。
SfMを含む三次元復元の初期のアイディアが発表されてから、素晴らしい研究者らが切磋琢磨して研究を続け、何十年も経ちました。現在は、さらなる優秀な開発者らの貢献により、上のビデオの中のCGのように、みなさんのPCでも復元が簡単にできるようになっています。火事のあった週に重なって開催されていたコンピュータ・ビジョンの国際会議である International Conference on Computer Vision 2019 (ICCV 2019) では、10年前に発表されたインパクトのある論文に贈られるHelmholtz賞を、Building Rome in a Dayという論文が受賞しました。火事のあった日の二日前のことでした。この論文は、数十万枚の画像をSfMに入力し、それを多数のコンピュータで効率的に並列処理するためにはどう工夫すればよいかを論じたものです。これによって、ローマのコロッセオやクロアチアのドブロブニクの街並みの形状を、インターネットにある画像から復元することに成功していました。
私たちの中の数名は、それぞれの研究のために、ICCV 2019に参加していました。また、同会議で文化財のデジタル保存のためのeHeritageワークショップのオーガナイザを務めたメンバーもいました。火事のニュースを目にしたとき、こういった立場にいるものとして、できることはないかと考えました。周りの研究者や学生やエンジニアに、私たちでできることをやろうと呼びかけたところ、賛同が得られ、メンバーが献身的に動いてくれました。それから色々と話し合って、みなさんの心に残るものを作ることで、社会貢献をしようと動いています。
私たちがなぜ、自分たちの仕事や研究の時間を割いて、このような活動をするのでしょうか。みなさんの役に立てれば嬉しいからです。しかしそれだけではなく、このような協力の仕方を通じて、みなさんに私たちの分野を知ってもらえることは、ありがたいことです。私たちのメンバーの研究分野は、コンピュータ・ビジョン、ヒューマン・コンピュータ・インタラクション、バーチャル・リアリティー、機械学習、などです。興味を持ってもらえれば嬉しいです。
私たちは協力、および支援して下さる方々を募集しています。お申し出頂ける場合は、ページ下のアドレスまでご連絡ください。
メンバー
- 川上 玲(東京大学)
- 邵 文(東京大学)
- 亀井 郁夫(東京大学)
- 五日市 創(東京大学)
- 苗村 健(東京大学)
- 瀧川 永遠希(University of Waterloo)
- 平木 剛史(大阪大学)
- 江草 陽太(さくらインターネット)
- Eduardo Acosta (Raiz New Media)
- Raul Acosta (Raiz New Media)
- 木方 夏麟(東京大学)
- 韓 燦教(東京大学)
- 宮本 優一(Party Inc.)
- 内海 ゆづ子(大阪市立大学)
- 池内 克史(Microsoft)
- Jean Ponce (INRIA / New York University)
- Jonathan Chemla (Iconem)
- Yves Ubelmann (Iconem)
- 瀬賀 未久(gluon)
- 杉山 大樹(UmeeT)
参考文献
- Changchang Wu, "Towards Linear-time Incremental Structure From Motion", 3DV 2013
- Changchang Wu, "VisualSFM: A Visual Structure from Motion System", http://ccwu.me/vsfm/, 2011
- Changchang Wu, Sameer Agarwal, Brian Curless, and Steven M. Seitz, "Multicore Bundle Adjustment", CVPR 2011
- Changchang Wu, "SiftGPU: A GPU implementation of Scale Invaraint Feature Transform (SIFT)", http://cs.unc.edu/~ccwu/siftgpu, 2007
- Yasutaka Furukawa, Brian Curless, Steven M. Seitz, and Richard Szeliski, "Towards Internet-scale Multi-view Stereo", CVPR 2010.
- Michael Kazhdan, Hugues Hoppe, "Screened poisson surface reconstruction", ACM Transactions on Graphics (TOG), Volume 32 Issue 3, June 2013
- P. Cignoni, M. Callieri, M. Corsini, M. Dellepiane, F. Ganovelli, G. Ranzuglia, "MeshLab: an Open-Source Mesh Processing Tool", Sixth Eurographics Italian Chapter Conference, page 129-136, 2008
- Sameer Agarwal, Yasutaka Furukawa, Noah Snavely, Ian Simon, Brian Curless, Steven M. Seitz, and Richard Szeliski. 2011. "Building Rome in a day". Commun. ACM 54, 10 (October 2011), 105-112.
- Y. Furukawa and J. Ponce. "Accurate, Dense, and Robust Multi-View Stereopsis". IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(8):1362-1376, 2010.
謝辞
本プロジェクトは、さくらインターネット株式会社様からサーバのご支援を頂いて運営しています。
本サイトは「さくらのクラウド」「ウェブアクセラレータ」を利用しています。
本サイトは、Sketchfab, Inc.様の3D viewerを利用しております。
更新履歴
2019/11/01 | 本サイトをプレオープン |
2019/11/03 | 本サイトをアップデート |