1. はじめに

本ドキュメントは、Kyutai-labsが開発した軽量Text-to-Speech（TTS）モデルであるPocket TTSを、現在の英語専用仕様から日本語にも対応させるための改造方法について、技術的な観点から調査・分析し、具体的な実装アプローチを提案するものです。

Pocket TTSは、100Mという軽量なパラメータサイズでありながら、CPU上での高速なリアルタイム音声生成と高品質な音声クローニングを実現する画期的なモデルです 。しかし、その学習は88,000時間にも及ぶ英語の公開データセットのみで行われており、日本語のテキストを直接入力しても音声を生成することはできません。

本提案では、Pocket TTSのコア技術であるContinuous Audio Language Models (CALM) のアーキテクチャを尊重しつつ、日本語対応を実現するための複数のアプローチを、そのメリット、デメリット、技術的要件、実装難易度と共に詳述します。

2. 現状分析：Pocket TTSの技術仕様

Pocket TTSの日本語対応を検討する上で、まずその根幹をなす技術要素を理解することが不可欠です。主要なコンポーネントは以下の通りです。

コンポーネント

技術仕様

役割

日本語対応の課題

テキストエンコーダー

SentencePiece

テキストをサブワード単位のトークンに分割

英語で学習済みのため、日本語の分かち書きや語彙に対応できない

音声コーデック

Mimi（連続潜在表現）

音声波形を低次元の連続的な潜在表現に圧縮・復元

英語音声で学習済みのため、日本語の音韻特性を十分に表現できない可能性

生成モデル

Flow LM (90M)

テキストと音声プロンプトから音声の連続潜在表現を予測

英語のテキストと音声の関係性のみを学習している

学習データ

88,000時間の英語音声

モデル全体の学習

日本語の音韻、韻律、イントネーションの知識が全く含まれていない

3. 日本語対応のための改造アプローチ

Pocket TTSを日本語に対応させるには、主にテキスト処理と音声生成の両面で、日本語の言語的・音響的特性をモデルに学習させる必要があります。以下に、実現可能性、品質、コストの観点から4つの異なるアプローチを提案します。

アプローチ1：日本語モデルの新規学習（最高品質・高コスト）

概要: Pocket TTSのアーキテクチャをそのまま利用し、トークナイザー、音声コーデック、生成モデルの全てを、大規模な日本語データセットを用いてゼロから学習し直すアプローチです。

実装手順:

1.日本語音声データセットの準備:

高品質な日本語TTSを実現するには、数千時間から数万時間規模の音声データが必要です。候補となる公開データセットには、JSUT、JVS、ReazonSpeechなどがあります 。これらのデータを収集し、24kHzへのリサンプリング、ノイズ除去、テキストとのアライメント検証などの前処理を徹底的に行います。

2.日本語SentencePieceトークナイザーの学習:

Wikipedia日本語版やCC-100などの大規模な日本語テキストコーパスを用いて、新しいSentencePieceモデルを学習します。語彙サイズは、元のモデルに合わせて8,000〜16,000程度が適切です。

Python

import sentencepiece as spm # 日本語コーパスからトークナイザーを学習 spm.SentencePieceTrainer.train( f'--input=japanese_corpus.txt ' f'--model_prefix=japanese_sp ' f'--vocab_size=16000 ' f'--character_coverage=0.9995 ' f'--model_type=unigram ' f'--normalization_rule_name=nfkc' )

3.MimiコーデックとFlow LMモデルの再学習:

準備した日本語音声データと新しいトークナイザーを用いて、Pocket TTSの学習パイプラインに沿ってMimiコーデックとFlow LMモデルをゼロから学習します。これには、A100やH100といった高性能なGPUを複数台用いて、数週間から数ヶ月にわたる計算が必要です。

メリット

デメリット

日本語に完全に最適化された最高品質のモデルを構築可能

大規模なデータセットと膨大な計算リソース（数万ドル以上）が必要

日本語話者での音声クローニング精度が最も高くなる

機械学習、特に音声合成に関する高度な専門知識が不可欠

アプローチ2：多言語モデルへの転移学習（中品質・中コスト）

概要: 既存の英語学習済みモデルをベースに、日本語のデータを追加してファインチューニングすることで、英語と日本語の両方に対応可能な多言語モデルを構築するアプローチです。

実装手順:

1.多言語トークナイザーの学習: 英語と日本語のテキストコーパスを組み合わせて、語彙サイズを拡張した（例: 32,000）SentencePieceモデルを学習します。

2.モデルの語彙拡張とファインチューニング: 既存モデルの埋め込み層を新しい語彙サイズに合わせて拡張し、日本語データセット（数千時間程度）を用いてモデル全体をファインチューニングします。

3.言語IDの導入: 入力テキストの言語を識別するための言語IDを条件としてモデルに追加し、言語に応じた適切な出力を促す改良が必要になる場合があります。

メリット

デメリット

英語で学習した知識を活用でき、学習コストを削減できる可能性

言語間の干渉により、英語・日本語双方の品質が低下するリスク

ゼロからの学習よりは少ないデータ量で実現可能

モデルアーキテクチャの変更が必要となり、実装が複雑化する

アプローチ3：音素ベースへの変換（実験的・低品質リスク）

概要: テキストを一度言語に依存しない「音素」に変換し、その音素列をモデルに入力するアプローチです。これにより、テキストエンコーダー部分の言語依存性を排除します。

実装手順:

1.日本語G2P（書記素-音素変換）システムの導入: pyopenjtalkなどのライブラリを用いて、入力された日本語テキストを音素列に変換する前処理を追加します。

2.モデルの再学習: 音素列を入力として受け取れるようにモデルの入力部分を改造し、日本語データで再学習します。

メリット

デメリット

理論上は少ないデータで多言語対応が可能になる

G2Pシステムの変換精度に全体の品質が大きく依存する

Pocket TTSの強みであるEnd-to-Endの学習思想から逸脱する

アプローチ4：既存の日本語TTSモデルの利用（現実的・低コスト）

概要: Pocket TTSの改造を断念し、代わりに高性能な既存のオープンソース日本語TTSモデルを利用する、最も現実的なアプローチです。

推奨モデル:

•Style-Bert-VITS2: 日本語に特化し、感情表現やスタイル制御に優れたモデル。音声クローニングも可能です。

•VOICEVOX: 多数のキャラクター音声を持ち、CPUでも軽快に動作する高品質なTTSエンジン。

メリット

デメリット

開発コストがゼロで、すぐに高品質な日本語TTSを利用可能

Pocket TTS独自のアーキテクチャや特徴（CALM）は利用できない

日本語に最適化されており、安定した品質が保証されている

モデルの内部構造を自由にカスタマイズすることは困難

4. 結論と推奨アプローチ

以上の分析から、Pocket TTSの日本語対応は、単なる機能追加ではなく、モデルの根幹に関わる大規模な再学習プロジェクトであることが明らかになりました。

•個人開発者や小規模チームにとって最も現実的な選択肢は、アプローチ4「既存の日本語TTSモデルの利用」です。 これにより、開発コストをかけずに、直ちに高品質な日本語音声合成機能を手に入れることができます。

•潤沢な計算リソースと専門知識を持つ研究機関や企業であれば、アプローチ1「日本語モデルの新規学習」が、Pocket TTSの思想を継承した最高品質の日本語モデルを実現する唯一の道です。 この挑戦は、日本語の音声合成技術に大きな進歩をもたらす可能性があります。

ご自身の目的、予算、技術力に応じて、最適なアプローチを選択することが重要です。

5. 参考文献

[1] Kyutai. (2026, January 13). Pocket TTS: A high quality TTS that gives your CPU a voice.

[2] Rouard, S., et al. (2025). Continuous Audio Language Models. arXiv.

[3] Takamichi, S., et al. (2017). JSUT: Japanese speech corpus of a versatile text set.

[4] Takamichi, S., et al. (2019). JVS: Japanese versatile speech corpus.

[5] Reazon Holdings, Inc. (2023). ReazonSpeech: A Massive Open-Source Japanese Speech Corpus.