マンガ機械翻訳システムの開発に本気で取り組む東大発AIスタートアップMantra

　Mantra株式会社は、マンガに特化した機械翻訳システムを研究開発するAIスタートアップ。2020年1月に起業し、7月28日に多言語翻訳システム「Mantra Engine」の正式版をリリースしたばかりだ。「Mantra Engine」は、マンガ特有の表現に合わせた翻訳とレイアウトを支援するウェブサービスで、翻訳版制作にかかる時間とコストを大幅に削減できる。Mantra株式会社の代表取締役 石渡 祥之佑氏に、Mantra Engineの開発経緯や独自の翻訳技術について伺った。

マンガに特化した画像認識とAI翻訳で翻訳版製作のプロセスを効率化

　日本のマンガは世界中で人気があるが、翻訳版が海外で発売されるのは早くて数ヵ月先。そのため、海賊版が蔓延し、出版社や作家を苦しめている。この原因はマンガ独特の表現や複雑なレイアウトにある。翻訳版の制作には、まず日本語の原稿から文字を抜き出して翻訳し、キャラクターに合わせた表現に編集し、吹き出しの形に合わせて写植する、という工程を踏むため、どうしても時間がかかってしまう。この作業を高速化して、日本語版と正規版を同時にサイマル配信できれば、良質なマンガを海外のファンにいち早く届けられ、海賊版の撲滅にもつながる。

　Mantra株式会社の開発する「Mantra Engine」は、マンガの翻訳版制作を高速化するクラウドサービス。日本語のマンガ原稿をアップロードすると、マンガのコマを検出し、吹き出しの順番を認識してセリフを英語や中国語に翻訳して置き換える機能を持つ。さらに、作業中の原稿データを共有し、翻訳者によるチェック、フォントサイズの調整などの写植処理、といったマンガの翻訳版制作にかかるプロセスのほぼすべてをウェブブラウザー上で完結できるのが特徴だ。

自動翻訳の結果に翻訳者や校正者がコメントを付けたり、フォントサイズの調整ができる

マンガに特化した独自のOCR技術と翻訳エンジン

　マンガの場合、吹き出しの中だけでなく、絵柄の上に重なったセリフやコマをまたがる文字もなどを正しく認識する必要がある。そこで、こうしたマンガ特有の文字配置をAIに学習させるための教師データを大量に生成する技術を開発。

　翻訳エンジンも同様に、マンガ特有の表現を大量に学習させなくてはならない。そこで、既存のマンガの日本語版と海外版の画像から対訳テキストを自動的に抽出する技術を開発し、機械学習させることで翻訳の精度を高めている。また、マンガのコマの構造を解析し、複数の吹き出しをつなげて前後の文脈を認識して、自然なセリフに翻訳する文脈認識の開発にも取り組んでいる。

コマの構造を解析し、前後のセリフの文脈を認識することで自然な翻訳を実現

日本のマンガを世界中に早く届けたい

　石渡氏と共同創業者の日並遼太氏は、ともに東京大学情報理工学系の大学院の出身。石渡氏は、機械翻訳や未知語処理など自然言語処が専門、日並氏は画像認識の研究者だ。研究テーマとしてマンガの翻訳を選択した理由は、単純に研究者として面白い課題に取り組みたかった、というのがひとつ。

　もうひとつは、幼少時から中国に行く機会が多かったという石渡氏の環境によるものだ。

　「中国の子どもたちは、日本人を見るとマンガやアニメの話をしてくれる。日本のコンテンツがいかに世界中の若者を魅了しているかを幼いころから感じていました」

　マンガは日本のポップカルチャーとしてはあらゆる国で知られており、国の垣根は関係なく若者同士はコンテンツを通して仲良くなれる。こうした、世界をつなげる一助となるコンテンツの流通を加速していきたい、と考えるようになったという。

Mantra株式会社 代表取締役 石渡 祥之佑氏

「博士課程では研究機関でインターンをしていたので、卒業後は研究者になるつもりでした。でも僕らがマンガの自動翻訳に全身全霊をつぎ込めば、5年後、10年後には、海賊版がなくなり、国内で十分な利益を得られていない漫画家が世界で活躍できるかもしれない。そう考えたら、スタートアップのほうが意義のある仕事ができそうだと思ったのです」

　石渡氏によると、現時点では世界中の最先端の機械翻訳技術を集めても、完全にマンガの自動翻訳はできないという。「マンガ特有の問題はまだ取り組まれていない部分が多く、自分たちが新しい技術を作っていくことが重要だと思っています」

　自動翻訳の完成にはまだまだ時間がかかるとの予測。翻訳機能は完全ではないものの、Mantraとしてのツールの導入で翻訳作業に付随する作業の効率化が図れれば、海外版の配信を早めることは可能だ。

　2020年5月からは出版社や配信事業者5社でトライアルを実施し、フィードバックから新たな課題もいくつか見えてきた。機械翻訳機能に加え、現場の人が使いやすいUIの改善、業務フローを効率化するための関係者との連絡やファイル管理機能などもローンチ後に追加していく予定だ。