グーグルは11月10日、Android端末のホームボタンをワンタップするだけで、画面内の要素を自動で抽出し、ウェブ検索やアプリ連携を可能にする機能「Now on Tap」の日本語版を提供開始した。
Android 6.0 Marshmallowのいち機能として追加されるもので、それ以前のバージョンや他のプラットフォームには今のところ対応しない。英語版は10月5日にリリース済みで、日本語版はそれに続くローカライズ第1弾となる。
「Now on Tap」
同日の記者発表会ではNow on Tapのデモが披露された。メッセージアプリで食べたいものが話題に上っている際にホームボタンを長押しすると、メッセージの中から「フォンデュ」という言葉を抽出し、クックパッドアプリと連携してフォンデュのレシピ検索結果ページを直接表示する様子を実演した。
また、世界遺産を紹介するブログページを見ている時は、本文から施設の名前を抽出してGoogle マップのナビ機能を呼び出し、施設までのルート検索を実行可能。待ち合わせ時間をショートメッセージでやりとりしている場面では、カレンダーアプリと連携することで最初から日時などが入力された状態で手早くスケジュール登録ができる。
「Now on Tap」の仕組みは?
Now on Tapは、同社が保有するデータベース「ナレッジグラフ」と、独自の自然言語処理アルゴリズムを用いて実現している。ホームボタンを長押しすることで、その時の画面内にあるテキストからユーザーが次に求めていること、次にしたいと考えられるキーワードを複数抽出し、すぐにウェブ検索などを実行できるようにする。
Twitterアプリ使用中にNow on Tapを実行。アーティスト名が抽出され、YouTubeと連携してミュージックビデオをすぐ再生
この機能は、その時に使用しているアプリが何であるかに関わらずいつでも呼び出すことができる。Now on Tap実行時は画面内のテキストが一度すべてGoogleのクラウドサーバへ送信される。その後、サーバ上でキーワードを抽出し、そのキーワードでウェブ検索する仕組み。クラウドに送信するデータはサーバ上には残らないとしている。
また、App Indexingに対応したアプリがインストールされていれば、抽出されたキーワードに応じて連携アプリの候補として列挙される仕組みにもなっており、ウェブ検索以外にも、ユーザーの判断でより適切な連携アプリを選び、最も知りたい情報を迅速に得ることが可能となっている。
グーグル株式会社製品開発本部長の徳生裕人氏
グーグル製品開発本部長の徳生裕人氏は、検索機能で目的のものを「より早く見つけるのがモバイルでは重要になってくる」と話す。最初のローカライズ版として日本語を選んだことについては、「モバイルが特に普及している市場。日本語での検索機能はまだ十分に便利にしきれておらず、日本でこそ(Now on Tapの)真価が発揮されるのではないか」と述べた。
今回のリリースはあくまでも「第一歩」であるとし、ナレッジグラフのデータベース拡充やアルゴリズム、インターフェースのブラッシュアップなどで今後も継続的に進化させていく方針。画像からの文字列抽出を可能にするなどの機能改善も期待される。