アドバンテック株式会社
生成AIをエッジで実現
アドバンテック株式会社（TWSE:2395 東京都台東区、以下、アドバンテック)は、NVIDIA(R) Jetson AGX Orin(TM)を搭載したMIC-733-AOによる生成AIデモの実施に成功いたしました。こちらのデモは、クラウドベースの生成AIと比較して、より即時性が高く、セキュリティが強化され、インターネットコストが削減されるという利点があります。MIC-733-AO エッジ生成AIシステムでは、Jetson AIラボのジェネレーティブAIモデルが無償で基礎となるAIモデルを提供するため、カスタマイズが可能になり、開発時間が大幅に短縮されます。
MIC-733-AOへの生成AI実装
MIC-733-AO エッジ生成AIシステムは、Jetson AI labのNVIDIA 生成AIモデルと互換性があり、NVIDIA(R) Jetson AGX Orin(TM)によって効率的に大規模言語モデル（LLM）、ビジョン言語モデル（VLM）、ビジョン・トランスフォーマー（ViT）、および画像生成とLlamaspeakをエッジで実行することができます。このプラットフォームは、加速計算、重要なAIソフトウェア、および事前トレーニング済みモデルを含む複数のレイヤーにわたる独自の提供を行い、さまざまなアプリケーションや場所に適した生成型AIモデルの作成、カスタマイズ、展開を容易にします。
Jetson AI labの生成AIモデルを使用することで、開発者はリトリーバル拡張生成（RAG）技術を活用し、LLMとVLMを企業の知識ベースに接続することができます。この手法により、従来のAIモデルのトレーニングが不要となり、シンプルな対話形式でシステムとやり取りするだけでAIの推論が得られるため、開発時間が大幅に短縮されます。
アドバンテックのMIC-733-AOは、高いAI性能とIPカメラ、USB/gigE産業用カメラ、GMSLカメラ、LiDARなど複数のビデオインターフェースを備えており、エッジベースの生成型AIモデルの動作を可能にしています。その優れた熱設計により、NVIDIA(R) Jetson AGX Orin(TM)がフル稼働していてもホットクラッシュを防ぎます。
即答性アプリケーション向けのエッジでの生成AI
生成AIは、テキストや画像などさまざまな入力と出力から新しいコンテンツを作成することで、人間とコンピュータの相互作用に革新的な変化をもたらしています。クラウドからエッジへの需要のシフトにより、生成AIは高応答性と低レイテンシの環境に最適化しつつあります。
エッジベースの生成AIは、クラウドベースに比べていくつかの利点があります。
- 即応性: カメラやセンサーなどのデータソースを統合したエッジコンピューティングシステムは、クラウドへのデータアップロードなどがなく、遅延なしに迅速な生成AIの応答を可能にします。
- 情報セキュリティ: データはエッジシステム内に残るため、クラウドデータの送信に関連するサイバーセキュリティリスクを回避します。
- 安定したネットワーク接続: 無線ネットワークなしでも動作可能で、エッジシステムはネットワークの復旧までデータをローカルに保存します。クラウドベースのAIと異なり、ネットワークなしで機能停止する事はありません。
- 送信コストの低減: エッジAIは、バックエンド通信が不要な場合には送信コストがかかりません。クラウドのアップロードに比べて低帯域幅の送信のみが必要であり、非常に低コストです。
エッジでの生成AIは、AI時代の未来を象徴しています。Jetson AIラボのNVIDIA Generative AIモデルと統合されたMIC-733-AO Edge Generative AIシステムは、AI開発者にとって直感的なソリューションを提供し、現在市場で利用可能です。GTC 2024においてもデモ展示を実施させて頂きました。MIC-733-AO Live LLaVAデモアプリケーションノートのダウンロードはこちらから行えますので、今日からエッジベースの生成型AIアプリケーションの構築を始めてみてください。
