新清士の「メタバース・プレゼンス」 第108回

“AI彼女”が自分のパソコンに入る日は近い

追加学習のハードルは下がりつつある

　Qwen3のようなモデルに、データを追加学習させていくためのハードルは下がってきているようです。実はそのための環境も出てきていて、有名なところでは「oobabooga」という統括環境があります。モデルを改造したいユーザーが使うような、上級者向けの環境です。

　oobaboogaの利点は、LoRAを作るためのトレーニング環境が実装されており、学習用のテキストデータさえ用意できれば、比較的容易に学習ができるところです。もちろん、LLMの追加学習に必要な環境は、動作させるよりもさらにVRAMを必要とするので要求スペックが高いという別の難しさもあるのですが、それよりも、学習用の整えられたテキストデータを作ることが大変なようです。データさえあれば追加学習自体は5〜6時間で終わるものの、キャラクターの振る舞いやシチュエーションをLLMにおぼえさせるためには5000種類程度のデータが必要になります。

　そのなかではAratakoさんのようにLLMでトレーニング用データを作らせるような方法は参考にしやすく、今後、特定の人格やシチュエーションのテキストデータを作るための専門的な環境も登場してくるのではないでしょうか。

oobaboogaでQwen3を動かしている様子。LoRAといった追加学習の環境がついている