6月18日の新製品イベントで、米アマゾンが初の独自スマートフォン Fire Phone を発表しました。
もっとも目を引く特徴は、複数のカメラでユーザーの顔の位置を認識して、見る角度に応じて表示を変える Dynamic Perspective (ダイナミック パースペクティブ)機能。
頭か携帯を動かして横から覗けば側面が見えるなど、立体的な効果を与える機能です。Fire Phone ではこの効果を立体風ロック画面壁紙のような遊びのほか、3D地図やブラウザのスクロール、ショッピングアプリでの商品ブラウズ、通知やクイックアクセスメニューの表示、ナビゲーションメニューの表示など、実際のユーザーインターフェース要素として導入しています。
アマゾンのジェフ・ベゾスCEOはこのダイナミックパースペクティブについて、「平坦なエジプトの壁画」というすごいところから説明。遠近法とはなんぞや、我々が感じる立体感とは何か、とまさに一からの解説を延々と続けました。
ただの遠近法による絵でも、もし無数の画家が待ちかまえて、見る人の角度に応じた遠近感に即座に書き換えたならば、壁に飾った絵ではなく窓のように見えるはず。
それを実現するのが Fire Phoneです、という導入。
実際に角度を変えて、手元の窓を通して向こう側の広がりが覗けるようなデモ。
(傾きを使ったスクロールや視差効果といえば、従来のスマートフォンアプリでも、ジャイロや加速度計を使った試みがありました。そうしたアプリでは手首の微妙なバランス感覚を試されたり、画面を動かさないよう手首を固定して慎重に覗かねばならない実装もあります。
Fire Phone ではユーザーの目の位置を認識して相対的に表示を変えるため、たとえば横になって携帯を見ても画面が高速スクロールしたり、見あげ視点になってしまうことはありません)。
多数の視差効果ロック画面を用意。
見た目で楽しいギミックとしてのほか、このダイナミックパースペクティブを「実用」的なユーザーインターフェースにも導入しています。
こちらは地図の例。ビルの3Dモデルが傾きによって向きを変え、携帯から手前に生えているように見える。
タイ料理レストランを検索。地点が赤く表示される。横に傾けることで、Yelpのレーティングをポップアップ表示。
こちらはショッピングアプリの例。奥のアイテムを見ようとすれば、角度によってアイテムがスクロールする。
ブラウザでも傾けてスクロール。これはサムスンのスマートスクロールなど、さまざまな方式で導入する試みが従来から多数。
Kindleアプリでも。微妙に傾けて緩やかにスクロール、大きく傾ければすばやく移動。
ホーム画面では一般的なスマートフォンのようにアイコンがグリッド上に並んだ表示のほか、
Kindle Fire のようにめくれるカルーセル(「カバーフロー」)的な表示も。中央に来たアプリは、タップして起動することなく、下に最新のコンテンツが表示されチェックできる。カメラアプリならば最近撮った写真の一覧、メッセージングならば新着メッセージなど。ここでも傾けてブラウズや覗いてスクロール。この「開かずに新着確認」はサードパーティー製のアプリでも利用できる。
音楽アプリの例。再生画面の左にはライブラリなどナビゲーション、右には歌詞表示がある。
ゲームの例。窓から覗いているように、左右から見れば先が見える。
ダイナミックパースペクティブのために、前面の四隅に画角120度のカメラを用意。顔の位置と距離をリアルタイムトラッキングする。
背面のメインカメラと、ビデオ通話用の前面2MPカメラは別にあり、合計すれば6カメラ。
複数あるのは、ステレオ立体視で視差から精度を高め、顔までの距離も推定するため。4つである理由は、縦でも横でも指で隠れても認識できるように。
前面カメラと顔認識ソフトで視差効果や視線スクロール、フェイストラッキングを導入するスマートフォンは従来からありますが、アマゾンによればこの広角4カメラによる高精度と距離の認識が他よりも優れた点です。
赤外線ライトで、暗所でも正確に認識。
こういったややこしい例や、ヒゲや影などから難しい顔追跡を膨大なサンプルから学習したアルゴリズムで解決。
開発者にはSDKを提供。自前のアプリにも、顔追跡を使ったダイナミックパースペクティブ効果を組み込める。
ダイナミックパースペクティブは視線と画面の相対角度および距離の変化を通して、人間が立体感を得る手がかりのひとつである視差効果を与える仕組み。
なので、液晶側の工夫で左右の目に別の映像を届けて立体感を得る、ニンテンドー3DSのような裸眼立体視の仕組みではありません。(裸眼立体視は原理的に見る角度や位置がシビアになりがちですが、ダイナミックパースペクティブでは動くことで立体感を与えます。
またカメラが認識してリアルタイム追跡するのは顔(とそのパーツ、目)なので、言葉としてはフェイストラッキングがより適切です。顔も端末も動かさずに眼球だけを動かしても注視点を追えるアイトラッキングとは異なります。
ダイナミックパースペクティブがただ目を引くだけの楽しいギミックで終わるか、アマゾンの主張するように実用的な新ユーザーインターフェース要素なのかは、日常的に使い続けてみなければなかなか判定しづらいところです。
とはいえ公開された情報の範囲では、アマゾンは斬新な立体的UIというよりも、携帯をもった片手である程度アプリを操作できることを重視している感があります。
片手でしっかりホールドしたまま、親指を頑張って伸ばしたりもう一方の手でタッチ操作することなく、傾きでスクロールしたり上下左右を覗いて情報をブラウズするなど。
iOS や Androidでは、画面の端から上下にスワイプすることで通知やショートカットメニューを表示しますが、Fire Phone では携帯を奥に倒す(スウィベルする)ことで表示できます)。
あるいは最初から実用は見せかけ半分で、ユーザーがちょっとした話のタネとして周囲に自慢してくれれば、Fire Phone を通じてAmazon Prime やアマゾンのエコシステムに金を落としてくれるユーザー増加に貢献することになり十分お釣りが来る、との発想かもしれません。