NVIDIA、ローカルで動くチャットAI　その名も「Chat with RTX（RTXとおしゃべり）」

　NVIDIAは2月13日、ローカルPC内のデータを使い自らカスタマイズできるAIチャットボットを作成できる技術デモ「Chat With RTX」を無償公開した。

　利用には、NVIDIA GeForce RTX 30シリーズGPUまたはそれ以上（最低8GBのVRAMが必要）を搭載したWindows PCが必要となる。

ローカルコンテンツをデータセットに指定

　Chat With RTXは、「Mistral」や「Llama 2」といったオープンソースの大規模言語モデル（LLM）に、ローカルPCに保存したコンテンツをデータセットとして接続することによって、LLMをローカルでカスタマイズできる技術デモだ。

　検索拡張生成 (RAG)、TensorRT-LLM、RTXアクセラレーションといった技術が利用されており、わざわざ該当資料を探さなくても「◯◯部門の2023年度の総売上は？」のように質問するだけで、ユーザーが指定したローカルファイルをスキャンして、文脈を持った回答を提供するという。

YouTubeからの情報も利用可能

　Chat With RTXの対応ファイル形式は（.txt、.pdf、.doc/.docx、.xml）。これらのファイルを含むフォルダーを指定すると、数秒でそのライブラリにファイルを読み込み、コンテキストに関連した回答を迅速に得ることができる。

　さらに、情報ソースとしてYouTubeの動画やプレイリストからの情報も含めることができる。チャット上で動画やプレイリストのURLを伝えるだけでアプリは動画の文字起こしを読み込み、動画に含まれる情報を元にした回答ができるようになるのだ。

　Chat With RTXはWindows PC上でローカルに動作するため応答も速く、なによりクラウドへの流出を警戒することなく機密データを利用できるのがメリットになるだろう。

■関連サイト

• ニュースリリース
• Say What? Chat With RTX Brings Custom Chatbot to NVIDIA RTX AI PCs
• ウェイティングリスト
• NVIDIA