NVIDIAは2月13日、ローカルPC内のデータを使い自らカスタマイズできるAIチャットボットを作成できる技術デモ「Chat With RTX」を無償公開した。
利用には、NVIDIA GeForce RTX 30シリーズGPUまたはそれ以上（最低8GBのVRAMが必要）を搭載したWindows PCが必要となる。
ローカルコンテンツをデータセットに指定
Chat With RTXは、「Mistral」や「Llama 2」といったオープンソースの大規模言語モデル（LLM）に、ローカルPCに保存したコンテンツをデータセットとして接続することによって、LLMをローカルでカスタマイズできる技術デモだ。
検索拡張生成 (RAG)、TensorRT-LLM、RTXアクセラレーションといった技術が利用されており、わざわざ該当資料を探さなくても「◯◯部門の2023年度の総売上は？」のように質問するだけで、ユーザーが指定したローカルファイルをスキャンして、文脈を持った回答を提供するという。
YouTubeからの情報も利用可能
Chat With RTXの対応ファイル形式は（.txt、.pdf、.doc/.docx、.xml）。これらのファイルを含むフォルダーを指定すると、数秒でそのライブラリにファイルを読み込み、コンテキストに関連した回答を迅速に得ることができる。
さらに、情報ソースとしてYouTubeの動画やプレイリストからの情報も含めることができる。チャット上で動画やプレイリストのURLを伝えるだけでアプリは動画の文字起こしを読み込み、動画に含まれる情報を元にした回答ができるようになるのだ。
Chat With RTXはWindows PC上でローカルに動作するため応答も速く、なによりクラウドへの流出を警戒することなく機密データを利用できるのがメリットになるだろう。
