機械翻訳に画像認識、さまざまなAI技術が詰まったマンガ翻訳技術ーMantra 代表インタビュー

マンガは日本が誇る文化です。

しかし課題も多く存在します。例えば、マンガの文化を海外に輸出するための「翻訳」にかかるコストが非常に高く、1冊あたり20～30万円のコストがかかっていました。

他にも海賊版が出回るなどの課題のひとつといえるでしょう。

これらの課題を、今回紹介するプロダクト「Mantra」は解決します。

MantraはAIを使って、翻訳作業を自動化し、マンガ翻訳にかかるコストを60～70％カット。これによって多くのマンガがリアルタイムに海外展開できるようになれば
、海賊版の撲滅にもつなげられるのです。

いったいMantraとはどんなサービスなのでしょうか。Mantraの開発者である石渡祥之佑氏に話を聞いてきました。

マンガ翻訳をAIで自動化！「Mantra」

――Mantraについて教えてください。

石渡氏：私たちは2つのサービスを提供する予定です。

1つ目はマンガの翻訳技術を提供するサービスです。私たちは、マンガに特化した独自の自動翻訳技術を持っています。

この技術をベースに、将来的にはマンガを多言語配信するサービスも提供していく予定です。私たちの技術を使って日本のマンガを翻訳し、安価で即時的な海外展開をサポートすることを目指します。

――マンガに特化した独自の自動翻訳技術とは、具体的にどういったものですか？

石渡氏：Mantraは従来人手で行われていたマンガの翻訳作業を自動化しています。
人手でマンガを翻訳する場合、まずセリフの書き起こしをします。次に、吹き出しのテキスト部分の塗りつぶし、翻訳。最後に翻訳後のテキストを適切に写植する必要がありました。

これらの作業を自動化するために、まず、吹き出し部分からテキスト領域をAIが認識します。マンガの文字認識は、ビジネス分野の文字認識と比べて非常に難易度が高く苦戦しました。

なぜなら、線で書かれた絵と文字が入り乱れて複雑に配置されているからです。他にも、セリフごとにフォントが違ったり、文字が変形したりしています。

これらに対応して文字認識をするために、私たちはマンガの文字認識に特化したOCRエンジンを開発しました。これを使えば、吹き出しの中の文章をかなり正確に検出・認識することができます。ノイズの多い画像からでも文字を認識できるんです。

左：元の日本語のマンガ　右：AIによって翻訳されたマンガ。かなりの精度だが、右下の吹き出し「海だ」の部分などの翻訳漏れも見られる ©︎Ken Akamatsu, Manga109のデータセットを利用

――マンガの複雑な線画の中から文字だけを抽出できる技術は非常に先進的ですね！

石渡氏：そして、その文字を認識したら翻訳していきます。翻訳の作業は文字認識よりもさらに難しい。

というのも、言いよどみがあったり、文章が途中で切れてしまったりするなどのマンガ特有の表現に対応しなければいけないんですよね。

そのため、現在はマンガ特有の表現を翻訳できるエンジンの研究開発を進めているところです。

――完全なマンガ翻訳エンジンを開発するまでには時間がかかりそうですね…。

石渡氏：はい。だからこそ、まずは人手の翻訳コストを少しでも下げていこうと思っています。

現在、自動翻訳したマンガを人手で修正したいという需要があります。この需要に応えるために、翻訳者やチェッカーの作業をサポートするツールを開発中です。

機械翻訳と人手翻訳を組み合わせることで、翻訳の作業コストを大幅に削減でき、作業時間も短縮できます。

――Mantraの技術のターゲットを教えてください。

石渡氏：Mantraを使っていただける可能性があるターゲットは、出版社や海外展開を考えているマンガ配信サービスなどですね。他にも作家さんが個人でSNSに発信する時や自費出版などの場面でも使えると思っています。

実際に誰に、どのような形式で利用していただくかについては今後も考えて行く予定です。

描かれたマンガ作品を瞬時に世界中へ届けるために

――Mantraを開発するまでの経緯について教えてください。

石渡氏：私は大学院で自然言語処理を研究していました。言語処理分野において最高峰とされる学術会議であるACLに機械翻訳の論文を提出したこともありました。同時期、同僚の日並も博士課程で画像認識の研究に取り組んでおり、彼も複数の論文をトップ会議に採択されていました。

そんな研究に取り組みながら、博士3年の夏休み、2人でサイドプロジェクトとしてマンガの自動翻訳に取り組んでいたんです。半ば趣味でしたが、これがとても面白くて。しかもユーザーインタビューをしてみると、ニーズがあることがわかりました。

このマンガの自動翻訳の技術を上手に活用すれば、書かれたマンガが瞬時に世界中に届くような未来を実現できるかもしれないと思ったんです。

そこで、2人が博士号を取得すると同時に、スタートアップとして本格的に取り組んでいくことにしました。

――実際にMantraを開発するために苦労したことを教えてください。

石渡氏：実際にMantraを開発するためには、マンガの対訳データが大量に必要です。しかし、マンガのセリフが対訳文として整備されているデータは世の中に存在せず、悩んでいました。

そこで私たちは、すでに人手で翻訳されているマンガと、その原作の日本語版マンガの画像データから自動的に対訳テキストデータを抽出する技術を開発しました。これにより、マンガのドメインでの翻訳に活用できる対訳データを極めて安価に作れるようになりました。

今後も、データの獲得は続けていきます。

精度のさらなる向上とプラットフォームの構築へ―。

――Mantraの技術は今後、どのように進歩していきますか？

石渡氏：マンガの自動翻訳にはまだ解決すべき課題が多く残っているので、それらを一つずつ丁寧に解決していきたいですね。

たとえば、マンガの表現では、吹き出しの中で文章が途中で切れてしまっていることがあります。

最近は、このような特殊な表現に対応できるように技術の改善を行なっています。。他にも、マンガにおける対話文では主語や目的語が省略されることが多くあります。ページの中で話している主体が誰なのかを動的に判断するのはかなり難しいですが、この問題にもじっくり取り組んでいくつもりです。

現在の翻訳の精度は、人の修正が全くないと3割ほどが読めるようになる状態です。課題を解決しながら、7割～8割が読めるような精度を目指していきます。

左：元の日本語のマンガ 右：AIによる翻訳と人の修正が入ったマンガ、マンガ翻訳の工数削減につながる ©️Mitsuki Kuchitaka

――ミッションについて教えてください。

石渡氏：私たちが目指しているのは、すべてのマンガ家が描いた作品が瞬時に世界中のファンに届けられる世界です。そして、マンガを読んだ世界中の人たちから適切なレベニューがマンガ家に届く世界にしていきたいですね。

この世界の実現のために、私たちは、プラットフォームの構築を進めていく予定です。

日本の人がマンガを描いてプラットフォームに投稿すれば、瞬時に5～10か国語に翻訳されて世界中の人が読める。そんなプラットフォームが実現できれば、海賊版を見る理由も無くなりますよね。

さらに幅広い人に使ってもらえるように、現在の英語・中国語対応だけでなく対応言語も広げていこうと考えています。

橋本

大学では社会福祉学を専攻していたが、「AI時代に、僕たちはどう生きるか」を研究するために休学。
現在はAINOWのほか、スタートアップ企業のためのインタビューメディア「Startup Times」
でも執筆中。