Niantic を立ち上げたとき、「発見」「運動」「実社会でのつながり」の 3 つを価値観の中心に据え、会社のミッションを作りました。でも、そのときには拡張現実 (AR) が皆さんや皆さんがお住まいのコミュニティに、このように良い影響をもたらすものになるとは、考えてもいませんでした。私たちのテクノロジーへの情熱とゲームづくりにかける強い思いを組み合わせて、年齢を問わず多くの皆さんに、これまでになかった新しいおもしろさをお届けできのはとても幸せなことです。

今日は、少しだけですが、私たちが開発している「Niantic リアルワールドプラットフォーム」をご紹介します。こうしたお話をするのは今回が初めてですが、こちらをご覧いただくと、Nianticがどのくらい本気でARに取り組んでいるのか、どんな地平を切り開いてきたのか、おわかりいただけると思います。

昨年一年を通じて、私たちは AR マップとコンピュータビジョンの分野に戦略的な投資を行ってきました。Niantic のめざす「地球規模のAR」の実現にむけ、Escher Reality を合併したこと以前ご案内しました。本日は、コンピュータビジョンと機械学習を専門にする企業 Matrix Mill も Niantic に参加し、これによってロンドンにも初めて拠点を設けたことをご報告します。この 2 つのチームとの協力を通じて、現在の「Niantic リアルワールドプラットフォーム」ができあがり、将来、どのようなことが実現できるのかを再確認することもできました。

「Niantic リアルワールドプラットフォーム」は、デジタルの世界と現実の世界の間をつなぐオペレーティングシステムです。わたしたちは、これまで培ってきた技術開発の経験を活かし、地理空間技術の限界に挑戦して、実際の世界の上に、これまでなかったおもしろさを重ねようとしています。

現実世界のモデリング
「Niantic リアルワールドプラットフォーム」は、コンピューターが見る世界を、これまでの道路や車を中心に考えていたモデルから、人間を中心に考えた世界へと進化させます。公園や歩道、公共のスペースなど、人間中心の世界をモデル化するには、たいへん多くのことを計算しなければなりません。こうした場所の三次元の細かいモデルを作り、コンピューターがすばやく処理できるようにしておかなければならないからです。

また、Nianticは、このような高度な技術を、スマートフォンのような比較的非力なモバイル機器で使えるようにするという課題にも挑んでいます。質の高いおもしろさを提供するためには、利用者の方々を取り巻いている環境の正確なモデルが、どんどん動的に変わっていく、「ライブ」モデルが必要です。このためには、人物の周囲が変化したり、人やモバイル機器が移動したりするたびに、モデルを調整し直すという、たいへん難しい作業を行わなくてはなりません。

カメラや人が動くなかで、ずれないように合成して投影するのはかなり大変ですが、機械学習とコンピュータビジョンの組み合わせを、スケーラブルで信頼できるインフラの上で走らせることで、解決しようと取り組んでいます。

現実世界を理解する
最先端のARを可能にするためには、世界がどう見えるかだけではなく、そこにあるものが何であるのか、何をしているのか、それぞれはお互いにどう関係しているのかなど、「意味」を考えなくてはいけません。「Niantic リアルワールドプラットフォーム」は、ARのオブジェクトが現実のオブジェクトの前で止まったり、後ろを走り抜けたり、上に乗ったりといったことが可能になるよう、コンテクストを考慮したコンピュータビジョンをめざして開発しています。

上のアニメーションは、Niantic のコンピュータビジョンのアルゴリズムがオブジェクトを認識し、信頼スコアつきでそれが何であるかを判断している様子を示しています。コンピュータビジョンにテーブルと椅子を理解させることにより、このスペースの中のどこに椅子があり、どこにテーブルがあるのかの判断ができるようになりました。このように学ばせていくことで、「テーブル」や「椅子」などを、AR の語彙に追加することができるようになります。語彙が増えるほど、その場所をより理解できるようになり、リアルワールドプラットフォームでのAR 表現が、より豊かなものになっていきます。

私たちを取り巻く世界の「意味」が理解できるようになれば、その上になんでも重ねられるようになります。現在はまだ、アイデアを探り、デモを作ってテストを行っている段階ですが、この技術が進化し、Nianticのプラットフォームが花の存在を特定して状況を把握できるようになれば、その上に蜂や蝶が集まってくるところを描けますし、湖が理解できれば、鳥たちが羽を休める姿を重ねたりすることができるようになるでしょう。

物を把握するということは、それが「何であるか」を理解することだけではありません。「どこにあるか」も大切な要素になります。現在、ARのもつ限界のひとつに、ARオブジェクトが実際の三次元空間にうまくはまらないという難しさがあります。理想的には、AR オブジェクトが、私たちのいる世界に自然に溶け込み、現実世界にある物の後ろに回り込んだり、周囲を動き回ったりすれば、もっとリアルにできるのです。

新しいロンドンのチームは、この分野の研究に注力しています。コンピュータビジョンとディープラーニングを用い、空間を三次元で認識することで、現在よりずっとリアルに感じられるAR 技術を開発しています。

上のビデオでは、ピカチュウが足を避けたり、植物の裏に隠れたりなど、現実世界に存在するさまざまな物とよりリアルに重ね合わされています。この映像は、AR のオブジェクトがこのレベルで周囲の環境と統合することが技術的に可能であることを示すもので、AR のエキサイティングな将来を確かに垣間見せてくれています。

現実世界を共有する
AR 技術といっても幅広いものですが、わたしたちは現在、Niantic のミッションと価値観に沿うような AR 技術の開発に、多くの力を注いでいます。こちらに、ハイパフォーマンスな AR 体験をもたらすことができる、新しいクロスプラットフォーム AR 技術をご紹介します。

複数のプレイヤーが同じゲームを楽しむためには、参加プレイヤー間で Niantic のリアルワールドプラットフォームが同時に協調して機能しなくてはいけません。人数が増えて、視点が増えても、同じ空間を見ている感覚を全員が持てるようにするためには、いくつかの要素技術がきちんと動かなければいけないということです。わたしたちが研究を通じて学んできたのは、実現にあたって、遅延が大きな問題になるということでした。表示のタイミングがきちんと合わなければ、同じ AR の空間を共有するのは、とても難しいのです。

この問題を解決するために、わたしたちは低遅延 AR ネットワーク技術を独自に開発しました。この結果、みんなが同じ体験ができ、クロスプラットフォームの AR 体験を提供することが、シングルコードベースで可能になりました。

こちらがその技術のデモの様子です。

ご紹介したものは、Niantic リアルワールドプラットフォームを部分的に少しだけお見せしたものです。Niantic はこの技術をまずはゲームに利用していますが、将来的にはより多くの種類のアプリケーションに使われるようになると考えています。

リアルワールドでのNianticのリアルワールドプラットフォーム
最新のAR技術は大きな可能性を持っています。今後、より多くの方々に Niantic リアルワールドプラットフォームを使っていただいて、私たちが想像もしていないような方法で、現実世界とデジタル世界をつなぎ、これまでにはなかった体験をもたらしてくださることを楽しみにしています。今年後半、何組かの開発者の方々を選ばせていただき、実際にご利用いただきたいと考えています。ご興味がありましたら、追ってより詳しい情報をお送りしますので、こちらからご応募ください。

Nianticと一緒にここまで来てくださった、また、私たちと一緒に将来を追いかけてNiantic リアルワールドプラットフォームをつくってきてくださった皆さんに感謝いたします。これからもたくさんのものが続くことをお約束します。

—jh