「手軽に」と思えば思うほど、
開発は考えなきゃいけないことがたくさんあるんです。

例えば、本体に最初からマイクをつけておく、ということだけでなく、
マイクの設定もしなくてよいようにしておきたい。

でも、実はゲーム機にマイクをつけるのって結構難しいんです。
何もしないとゲーム機から流れるゲームの音楽などを
マイクがそのまま拾ってしまいますけど、
それは消さないと肝心の話し声が聞き取りにくくなってしまいます。

それに、携帯モードの場合はコントローラーのボタンの音や振動の音も
マイクに入ってしまうので、それも消す必要があります。

一方、TVモードでTVから離れて遊んでいるときでも、
大きな声を出さなくても
声を拾えるようにしておきたい。

つまり、TVから入ってくる大きな音を消しながら、
離れたプレイヤーの小さな声を拾うという、
相反することを実現しなければならないんです。

徳永さんには、無茶な要求をいろいろとしましたよね。
声以外の音は極力消したいけど、拍手は残したいとか。

そこは音声処理専用の高性能なチップを搭載して、
欲しい音だけを拾えるように
ひたすらチューニングして・・・（笑）。

ありがとうございます（笑）。

それから、「音を拾う対象はひとりですか？
それとも家族でつかっているなら全員ですか？
そこがどちらかに絞れたらつくりやすいんですけど・・・」
と訊かれたことがありましたが、
「それはどっちかじゃなくて、どっちもです」って
答えたこともありましたね（笑）。

やっぱり、いろんなシーンを想定しておきたくて。
テレビからソファがどれくらい離れてるとか、
ソファのどの位置に座ってるとか。
徳永さんには「そんな曖昧な言い方しないでくださいよ」って
言われたこともあるんですけど、
いろんな環境に対応できるようにしておかないと、
「設定要らず」とは言えないですからね。

設定要らずにしたい、という意味では
スピーカーの音量バランスの調整も頑張ったところです。

ゲーム音とボイスチャットの音は同じスピーカーから
同時に聞こえてくることになるので、
どっちが聞こえやすくなる方がいいのか？というのも
サウンドチームと協力しながら調整しました。

お客さまが何も設定しなくても、
誰かがしゃべっている時はボイスチャットの方が聞こえやすくなるし、
しゃべる人がいないときはゲーム音の方が聞こえやすくなる。
それが自然に切り替わるようになっています。

自動で必要な音を拾い、自動で声を聞こえやすく届けられるよう調整されるので、
例えば、本体から離れた場所の声を拾っていたTVモードから
近くの声を拾う携帯モードへ切り替えても、
チャット相手が聞いている声が急に大きくなったりせず、
違和感なくボイスチャットを続けることが可能です。

TVモードでも携帯モードでもボイスチャットが違和感なく
移行できるというのは特徴的な部分だと思っていて。
TVモードでボイスチャットしていたときに、
家族がTVを使いたいと言ってきても、
ドックから外せばそのまま携帯モードでボイスチャットを継続できたりします。

携帯モードだと場所も選ばなくなるので、
寝室で寝ころびながらボイスチャットするみたいな体験も
できるようになりました。

Nintendo Switch 2 カメラを別売で用意したんですけど、
今回、カメラをあえて本体に内蔵しなかったのは
TVモードを考慮してのことなんです。

TVモードの場合、どの方向に向けて本体を設置するのかは
人によって違うだろうと思ったので。

必要になったときに、置きたい場所に置いて、
サッと接続しさえすれば設定なしですぐに使えるものを、
ほしい人に手に入れてもらうのがいいかな、と。

ゲームをしている雰囲気を伝えるのに
かなり広角なレンズを使っていて、
最適な画角になるよう設定しているのが特長です。

近くからでも遠くからでも、一人でも複数人でも、
体を動かす遊びなんかも、ちゃんとカメラがとらえて
伝えられるようになっています。

でも、もっとも重要視したのは顔の表情がいかにきれいに映るか。
ゲームの雰囲気を伝えるには、人がどんな表情をしているのかを
鮮明に相手に届ける必要があると思ったんです。
なので、人の顔を自動で認識して、
そこを一番解像度高く見せるための処理を入れています。

一般的なUSBカメラ^※10では、
被写体となる人が離れたところにいると
人が小さく映ってしまって、ズームしてもぼやけてしまうんですけど、
Nintendo Switch 2 カメラはそこに独自のソフトウェアの処理を入れていて、
小さく映っているときにズームしても極力ぼやけたりしないように
自動で処理がされるうえに、
表情がきれいに表示されるようになっています。

はい、そうです。

表情をきれいに映すという意味では、
Switch 2 が使われる部屋の照明も意識しました。
特に夜だとリラックスするために部屋の明るさを少し下げて
ゲームを遊ぶ方っていらっしゃると思うんです。

それでもきれいに表情が読み込めるように
自動で明るさも調整されるようになっています。

もうひとつ、カメラに関して私からリクエストしたのは、
背景が映らないよう、人だけを切り抜いて
表示できるようにしてほしい、ということでした。

「部屋が見えちゃうならカメラは使いたくない」という方も
いるんじゃないかなと思って。
なので、最初の設定は背景が除去された状態になっています。

ただ、実はこれをゲーム画面の共有と組み合わせると・・・

そうなんです。
実際はフレンドとビデオチャットしているだけなのに
YouTuberさんたちが
ゲーム実況しているかのような見せ方になりました。
それこそ実況者ごっこというか、そういう感じで
友だち同士で遊んでいただくのも
楽しいんじゃないかなと思っています。

カメラの背景切り抜きって、
パソコンやスマートフォンでは見かけることがあると思います。
でもゲーム機だと、ゲームプレイに処理能力を集中させながら
同時にカメラの背景を切り抜く必要があって、
それが実はなかなか難しいんです。

でも、背景が映るか映らないかっていうのは
安心・安全にもかかわってくると思いますので、
最低限の処理量で人だけをきれいに切り抜けるように
何度も何度もチューニングをして。
やっと、これなら、というものを実現したんです。

ひとりで遊んでいるときだけじゃなくて、
複数人で遊んでいても、
ちゃんとみんなの背景が除去できるようになっています。
複数人での背景切り抜きは、あんまり見たことが
無いかな、と思います。

プレイヤーの声や映像は、サーバーを経由して、
チャット相手に伝わっています。
世界中で快適にボイスチャットが楽しめるように
日本だけでなく、いろんな国や地域にサーバーを置いています。

Nintendo Switch 2 はゲーム機なので、
やっぱりゲームを遊ぶことに性能をしっかり割きつつ、
残った性能でゲームチャットを動かさなきゃいけません。
しかも、ゲームに悪い影響がでないよう、
安定した動作が求められます。

それでいながら音声のノイズ除去や背景の切り抜きの処理をしつつ、
ネットワークの送受信をしながら、データを圧縮・展開して・・・
といった形で、とにかくいろんなチームのいろんな技術が
ぎゅっと集まっているので、
それをうまく統合させて、整理して動かすのが大変でした。

そんな感じなので、開発中は
「祭りのように開発してる」とよく言ってましたよね（笑）。

はい。
何か開発の中で解決しなきゃいけない課題があったときに、
「困ってる？　じゃあ俺が助けにいく」っていう感じで
いろんな人が集まってきて、
みんなでワイワイやりながら問題を解決していく、みたいな。

先ほどお話ししたんですけど、
このゲームチャットの機能って、いろんな技術の集合体なんですよね。
それがゲームと一緒に動作するので、
ゲームチャット側のどこかの処理の負荷が大きくなると、
ゲームが処理落ちしてしまうことがありました。
だからゲームチャットにかかわっているすべての技術を
チューニングしなきゃいけなかったりするんです。

そうなるとやっぱりいろんなチームの人にかかわってもらう必要があるんですが、
「ゲームチャットのためなら、うまくやってやるぜ！」
という感じで頼もしくて（笑）。
みんな技術で課題を解決するのが好きで、楽しんでやってくれるんですよね。
そんな祭りのような開発を2年以上続けてきました。

・・・でもこの祭り、100人以上いるので、大変ですよ（笑）。

開発中は毎日ゲームチャットを使って会議して
みんなで使い勝手を試しながら、検証して、改善して・・・
そんな祭りのような開発の中で
細部までチューニングをしていきました。