新清士の「メタバース・プレゼンス」 第160回

寝不足になるほど面白い　ローカルAIと音声合成をつないだら、キャラが普通にしゃべり始めた

作ったアプリはGitHubで公開中

　ついでに、2Pキャラクターも登場させる機能を追加してみることにしました。そのモードでは、ユーザーが出したお題に対して、キャラクター二人が会話を続けられるようにしました。

　キャラクターは、勝ち気なキャラクターとして「ルヴィア」を設定し、同じように、ルヴィア用のモデル音声と表情差分を作成しました。そして、ユーザーがその場に存在する前提で二人が話し続けるモードと、ユーザーは存在しないものとして二人だけで話し続けるモードの2つを作りました。途中で、ユーザーはお題を追加することで、話題を誘導することができます。

　また、レスポンスをよくするため、片方の音声が再生されている間に、その裏側で次のテキストと音声の生成を始めるようにもしています。

「Rinon Voice Lab」2Pモード。人間とAIとの関係性を延々と話し続けている。

△「Rinon Voice Lab」2Pモードで実際にキャラクター二人が自然な会話を続けており、適宜、会話に介入している

　このアプリは、現状では、VRAM16GB以上のビデオカードを搭載したPCで動作します。ただ、VRAM使用量の多くは、LM Studioで使っているLLMモデルのサイズに左右されるため、軽量なローカルLLMモデルを使えば、より少ないVRAMを搭載したPCでも動作すると思います（筆者は未検証）。また、CodexやClaude Codeから音声の出力先として使える設定も入れてあります。そのため、最新のクラウドAIを音声で話させることも可能です。

　実際に音声でやり取りすると、単なるテキストの反応だけでは得られない没入感が出てきます。

　CodexはUIデザインがあまりうまくないため、様々なオプション機能がむき出しになっているため、整理する必要は感じていますが、「Rinon Voice Lab」は形になってきました。このあと追加していくとしたら、ユーザーの音声認識でしょうか。

　また、今回のアプリはGitHubで公開しています。使用する場合には、Irodori-TTSやLM Studioの別途インストールする必要がありますが、興味のある方は試してみてください。ただし、筆者によるサポートはあまり期待できないので、うまく動かない場合は、CodexやClaude Codeに中身を見てもらって、導入するPC向けに動作するように改造してもらってください。