新清士の「メタバース・プレゼンス」 第64回

自分好みのAIチャット相手を簡単に作れる「Dify」が面白い

ローカル環境だけでRAGベースのAIアプリが作れる

　Difyはオンラインの月59ドルからの有料サービス（無料のトライアル版あり）として展開されていますが、面白いのがオープンソースとしても提供されていて、環境がGitHubに公開されていることです。動作させるにはアプリケーションの実行環境であるDockerをインストールしてることが前提ですが、動作させるための手順はそれほど複雑ではありません。Web用のものと同じ環境をローカルPC上に構築することができます。

　また、ローカルで動いているので、ローカルサーバーも参照できる。そしてローカル環境だけで、実際にアプリが作れてしまうわけです。

　実際にDifyのローカル環境を構築して、チャットボットを作成してみました。執筆時点で最新のv0.6.8では、最新の「GPT-4o」にも対応しています。OpenAIのAPI Keyをセットしておくと、選択肢として選ぶことができます。システムプロンプトにあたる手順には、作成済みの「明日来子さん」の設定を入れ込みます（筆者作成のキャラクター。前回参照）。その状態で、右側の「デバッグとプレビュー」にチャットを入力すると、すぐ動作が始まります。そして気に入った場合には、「公開する」を押すだけで、URLが生成され、チャットボットのLLMアプリとして動作するようになります。

Difyに明日来子さんの環境設定をしているところ

アプリとして起動し、チャットボットとして動作させているところ。インターネット上に公開すれば、そのまま動作させることも可能

　ただ、APIを利用する場合には、当然テスト中もトークンの使用料がかかります。ここで使えるのが、前回の「Command R+」の記事で紹介したアプリ「LM Studio」の「サーバーモード」です。サーバーモードを実行した状態で、Difyに接続してやると、ローカルサーバーを通じて、LLMを動かすことができてしまいます。LM Studioには今のところ外部データを読み込む機能がありませんが、Dify側に送って処理させるようにすれば、より複雑な機能を組み合わせることができます。例えば、ナレッジを組み合わせておくことで、LM Studio単体では実現できないRAG機能を持たせることができます。

LM Studioのローカルサーバモードを起動している状態