AIのプロに学ぶ、RTX PRO AIマシンの使いこなし術 第4回

GDEPソリューションズ社長の語る、GPUのこれまでとこれから

「買ってすぐ業務に使える」ローカル完結型のRAGが生まれた背景

プログラミング不要で業務活用、秘密情報も守る「G-RAGon」

　明確な転機が訪れたのは、2023年だ。「ChatGPT」の登場を機に、生成AIへの注目が一気に高まった。GPUの需要も、HPCや研究開発だけでなく、実務でのAI活用にシフトしていった。

「その時期、私自身も、実際に自分の業務に生成AIを取り入れてみたんです。すると、部下5人分くらいの仕事を1人で回せるようになった。『これはいいぞ』と思いました。しかし、国内ではまだまだ業務に使っていこうとする姿勢を持っている人は少なく、『このままでは、日本は国際競争で後れを取ってしまう』とも思いました」

　榊原氏が生成AIを使い込む中で、強く感じたのがRAG（Retrieval Augmented Generation／検索拡張生成）の必要性だったという。

　「ビジネスで本格的に生成AIを使うには、やはり社内にある自社固有の情報が必要になります。ただ、そういった情報は、守秘義務があったり、そもそもクラウドに出せないものも多い。だからこそ、ローカル環境で完結するRAGの仕組みも、これからは求められるようになると感じました」（GDEPソリューションズ 代表取締役社長 榊原忠幸氏）

LLM／RAG業務活用セットは、同社から直接購入できるほか、セミナーなどで頻繁に協業する菱洋エレクトロでも販売している

　情報を取り出し、正確な回答に結びつける。そこには“検索の次の形”とも言える、新たな技術が必要だった。研究開発を重ねたGDEPソリューションズは、2024年7月からローカルLLMとRAGをすぐに使える形にセットアップしたLLM/RAGスターターセットを販売開始。そして2025年3月に満を持して発表したのが、RAGの初期回答精度を向上させ、手作業での調整を大幅に削減するソリューション「G-RAGon」だ。

　同社ではこのG-RAGonと、NVIDIA RTX 6000 Ada（1〜3基）、HP製ワークステーション「HP Z8 Fury G5 Workstation」をセットにして、「LLM／RAG業務活用セット」として販売している。同社のエンジニアがLLM／RAG構築の立ち上げを一貫してサポートするため、導入企業は、パッケージを購入するだけで、ローカルLLM／RAGの事業への活用をスピーディーに開始できるメリットがある。

「Llama 3やGemma 2といった無料で使える高性能なAIモデル（オープンソースLLM）を活用し、「Dify」というツールを使えば、専門的なプログラミング知識がなくても、業務用のAIチャットボットや、自動化された業務ワークフローを作ることができます。100V電源で動いて、筐体サイズも業務用としてはコンパクト。社外秘情報をクラウドに出せない企業でも、安心して使えるAI環境を目指しました」（プロメテック・ソフトウェア AI／HPCプラットフォーム事業開発本部 今任嘉幸氏）

高い解答精度、鍵は細かなチューニング

NVIDIA RTX 6000 Ada（1〜3基）を搭載するHP Z8 Fury G5 Workstationと、G-RAGonをセットにして「LLM／RAG業務活用セット」として販売

　2025年3月に出荷が開始されたG-RAGonは、社外秘情報や個人情報を取り扱う企業や、医療・アカデミア・官公庁といった「データを外に出せない」現場でも安心して使え、かつ導入してすぐに業務に活用できるAI環境として注目を集めている。

　参考価格は、要件に応じて212万8000円から。AIを業務に落とし込もうとする中堅企業にとって、手の届く範囲にある“現実解”だ。リリース後、同社への問い合わせは急増。同社が的確に市場のニーズを掴んでいたことを裏付けた。

　RAGのビジネスでの活用において重要なのが、チャンク処理や同義語辞書の整備といった細かいチューニングだ。同社のG-Ragonは、クライアントが導入直後からRAGを構築して、しかもチューニング不要で80％の回答精度を実現するという優れものだ。

「『購入前提で、まずは相談に乗ってほしい』という形でお問合せをいただくことが多いです。その中でよく、『RAGを試したけれど、思うように答えが返ってこない』というお話をいただくことがあります。無料版のDifyは機能に制限がありますし、設定が甘いと、ベクトル検索の結果もブレてしまうのです。

「普通、最初の回答精度は40〜50%前後になります。私たちは、お客様がドキュメントを流し込むだけで、一切のチューニングをすることなく、いきなり80%の回答精度を実現するG-RAGonをプレインストールして納品します。そういうツールをパッケージ化してご提供することで、お客様の業務に“効くAI”を届けています」（GDEPソリューションズ 代表取締役社長 榊原忠幸氏）

　ワークステーションそのものの構成も、現場の課題に応じて進化してきた。

「最近は、空冷では冷却が追いつかないこともあるので、ラジエーターを備えた水冷構成のご要望が増えています。比率で言えば、2〜3割のお客様が水冷を選ばれます」（プロメテック・ソフトウェア AI／HPCプラットフォーム事業開発本部 今任嘉幸氏）