新清士の「メタバース・プレゼンス」 第94回

1000円あればOpenAIレベルのAIが作れる　DeepSeekで注目の「蒸留」とは

実際に蒸留モデル「s1-32B」を試してみる

　s1-32BはGitHubに公開されているので、ダウンロードするとローカルLLMとして試すことができます。LM Studioにダウンロードして動かし、前述の例題を解いてみました。結果は5回解いてみて、やっと正解にたどり着くというものでした。s1-32Bがなぜ間違えたのかは、筆者には推論過程を見てもまったく理解できません。しかし、用意された設問が、数学の問題でも難易度の高い問題であることが確認できました。

s1-32Bで問題を解かせているログの最初と最後の抜粋。5926トークンを使って推論をしている。単純な比較はできないが日本語換算すると7200字程度に該当するため、相当な長い推論を通じて答えている

　「DeepSeek-R1-Distill-Qwen-32B-Japanese」でも試してみました。

　このモデルは、DeepSeekがリリースした軽量版にサイバーエージェントが、日本語の追加学習をしたものです（参考：「DeepSeek R1、無料で使えるAIとしては最強クラス」 ）。結果は一発で、正解を導き出しました。

　一方で、ChatGPT 4oは3回試していずれも不正解。しかし、o1とo3-miniは1回目で正解を出し、その優秀さを感じました。

DeepSeek R1の32Bまで軽量化されていても、正しい正解を一発で出してきたのは相当優秀であると考えられる。薄い灰色が推論過程。6197トークンを使って推論している。日本語換算すると約7500字

o1は1回目で正しい回答を導き出した。設問の最初と最後の部分を抜粋