新清士の「メタバース・プレゼンス」 第138回

数百万人が使う“AI彼女”アプリ「SillyTavern」が面白い

ただし会話内容の調整は難しい

　一方で、パラメーターの調整は非常に難しいです。

　筆者はせっかくA6000の環境があるため、Nvidia製GPU環境ならかなりのLLMの高速化が期待できるローカルLLMサーバ環境「tabbyAPI」をインストールしてみました。exl2という専用形式で動作するため、生成速度が劇的に速くなります。ダウンロードしたのは「Qwen2.5-72B-Instruct-abliterated-4.2bpw-exl2」。やはり、ファイルサイズが48GB程度ある巨大なものですが、A6000ではなんとか動きました。

　これで動作させると、ローカルLLMで使用できる「Text Completion（テキスト補完）」モードで動作させることができるようになり、より複雑なパラメータ設定で動かせるようになります。LLMを動作させると必ず起きるのが、しばらく話すと同じことばかりを繰り返すようになる現象です。コンテキストが積み上がり、特定の結果に逃げ込むようになるのです。

　それを予防するために、同じことを繰り返さないようにペナルティを与えるパラメーター「Repetition Penalty（反復ペナルティ）」や「DRY Repetition Penalty（同じことを繰り返す反復ペナルティ）」といったものが用意されており、それを少し調整するだけで、キャラクターAIの発言内容が大きく変わります。反復ペナルティを強めすぎると話せる内容がなくなり、まったくおかしなことを言い出したりもします。うまく最適な状態を探し出すのはなかなか大変です。

　一方で、商用として提供されているGPTやGeminiが、いかにそうした反復をしないように調整がなされているのかを痛感させられます。また、ユーザー目線では、キャラクターAIは人格を持っているように見えても、わずかなパラメータ変化で簡単に意味のわからないことを言い出す、脆弱な存在であることもはっきりとわかります。

　ただ、様々な調整を通じて、自分だけのLLMを作り上げていく感覚はローカルLLMならではの楽しさがあります。

右にコンフィグ画面には、調整できる多数のパラメーター設定が表示されている。セッティングに完全に失敗している状態では、理由のわからない単語の羅列が表示されている