AWSの生成AI開発は多彩な選択肢が売り　パートナーアプリも組み込める

Amazon BedrockにLuma AIやpoolside追加　GraphRAGやプロンプトルーティングにも対応

　2024年12月2日～6日、ラスベガスで開催されたAWSフラグシップイベントの「AWS re:Invent 2024」。3日目の基調講演に登壇したスワミ・シバスブラマニアン氏は、前日に発表された内容も含め、AWSでの生成AIへの取り組みを披露する。

AWS AI・データ担当 バイスプレジデント スワミ・シバスブラマニアン氏

今の生成AIは技術の積み重ね　AI利用の実績がサービスに結実

　この数年のAWS re:Inventで生成AI関連についてディープに掘り下げるスワミ・シバスブラマニアン氏のキーノート。冒頭、同氏は「すべての業界や組織がデータスキルのチャレンジを抱えている。破壊は新しいイノベーションを生み出す」と第一声を挙げる。

　シバスブラマニアン氏は、イノベーションを加速する生成AIは、さまざまな技術の積み重ねで今に至っていると振り返る。「1903年、ライト兄弟が初飛行を行なったが、この12秒の飛行は単独で起こったモノではない。何世紀もの技術の積み重ねから起こったものだ」（シバスブラマニアン氏）。レオナルド・ダ・ヴィンチのスケッチは人が空を飛ぶための基礎概念を示し、固定翼機の設計は揚力と推進力の基礎を与え、蒸気動力はその動力を生み出し、グライダーの実験は重要なデータをライト兄弟に与えた。こうした成果の集約がまさにライト兄弟の飛行だという。

ライト兄弟の飛行は技術の積み重ねで実現している

　そしてこの技術の積み重ねは、今の生成AIにも当てはまる。ニューラルネットワークの予測分析モデルから始まり、多層モデルでの効率的な学習、教師なしのトレーニングなどを経て、自然言語処理に革命をもたらしたトランスフォーマーが登場。これに加えて、大規模なデータセット、専門的な演算能力、クラウドによって生成AIの大きな転換期を迎えている。

　「新しいツールとインターフェイスはかつてないスピードで普及し、ビジネスの効率化を推進し、クリエイティビティを解き放っている」とシバスブラマニアン氏。18年に渡るAmazonでのAI活用の実績、顧客の課題を解消する目的、機械学習の民主化などにより、今ではAI分野での多くのサービスに結実している。すでに多くのユーザーがAWSのサービスを使ってデータの利活用を推進しているという。

パートナーのAIアプリケーションを組み込める「SageMaker Parter AI Apps」

　シバスブラマニアン氏が最初に紹介したのは、前日の発表でデータ分析とAIの統合環境に生まれ変わった「Amazon SageMaker」のアップデート（関連記事：AIアプリとデータ分析が「ニューノーマル」に　クラウドの代名詞AWSが進む道）。Amazon SageMaker AIはクラウド上で基盤モデルを構築・カスタマイズし、トレーニング、デプロイを可能にする開発プラットフォームになる。「昨年から140以上の新機能とアップデートを行なった。お客さまがより早く、効率的にモデルの構築することができるようになった」（シバスブラマニアン氏）。

　まず機械学習の大規模トレーニングを可能にする「SageMaker HyperPod」のアップデートを紹介する。昨年発表されたSageMaker HyperPodでは、大規模な分散型トレーニング用のライブラリがあらかじめ設定されており、ワークロードの並列処理や障害時のトレーニングの再開などを自動的に行なう。

　新たに投入されたのは、「Flexible training plans」で、予算や期待する完了日、使用する最大リソースを指定すると、HyperPodが自動的にリソース予約やトレーニングジョブの設定を行なう。また「Task Governance」の機能では、複数チームが利用する場合、定義したポリシーに従ってリソースの割り当てを自動的に行なう。

SageMaker HyperPodにTask Guidance機能が追加

　また、「Amazon SageMaker Partner AI Apps」では、モデル開発のワークフロー内にパートナーのAIアプリケーションを組み込める機能。モデル評価のCometやDeepchecks、デバッグツールのFiddler、アプリケーション保護のLakera Guardなどを利用できる。カタログからパートナーのAIアプリケーションを検索し、数クリックで導入。アプリケーションの管理やスケーリングはAWSが行なうという。

BedrockではpoolsideやLuma AIなどの新しいモデルが追加

　複数の基盤モデルを選択できるAIプラットフォーム「Amazon Bedrock」では、前日発表されたAmazon Novaの4モデルに加え、画像生成AIのモデルとしてStability AIの「Stable Diffusion 3.5」も追加された。

　また、新たなモデルプロバイダーとしてpoolsideとLuma AIが追加され、全9社となった。poolsideからはコードやドキュメントを生成する「malibu」と「point」、Luma AIからは高品質な動画を生成する「Ray 2」が基盤モデルとして提供される。

多種多様な基盤モデルを備えるAmzon Bedrock

　特化型や新興プロバイダーの100以上のモデルにアクセスできる「Amazon Bedrock Market」も発表された。AgentsやGuardrailsなどのBedrockの機能にも活用できる。日本からもPreferred NetworkやStockmark、KARAKURIなどのモデルがすでに公開されているという。

　Amazon Bedrock自体は推論機能が強化されている。まずは「Prompt Caching」機能の追加。繰り返し利用されるトークン（人の入力したデータをエンコードしたデータ）をBedrockが認識し、安全にキャッシュすることで処理を効率化する。コストは最大90％、レイテンシーは最大85％削減できるという。

　また、新たにサポートされた「Intelligent Prompt Routing」は、プロンプトの内容に応じて、最適な基盤モデルを選択して入力を渡す機能。タスクに応じて必要な制度を確保しつつ、コストを最大30％削減。現在は、Anthropic ClaudeとMeta Llamaという2つのモデルファミリーをサポートしている。

プロンプトの内容に合わせて基盤モデルを適切に選択するPrompt Routing

RAGを強化する検索機能、GraphRAG、フィルター機能もサポート

　検索エンジンのAmazon Kendraには生成AIアプリケーション向けの新しいインデックス「Generative AI Index」が追加された。セマンティックとベクターのハイブリッドサーチやリランクモデルに対応。43ものデータソースに対応するコネクターも提供され、さまざまなデータソースからの取り込みを容易に行なえる。また、Amazon Bedrock Knowledge BasesやAmazon Q Businessなど、異なったサービス間でも共通のインデックスを持つことができる。

　RAG（検索拡張生成）構築を支援するAmazon Bedrock Knowledge Basesでは、Structured data retrievalの機能が追加され、構造化データを持つSageMaker LakeHouseやAmazon Redshiftのナレッジベースに対して、自然言語によるクエリが可能になった。Knowledge Basesはプロンプトを解釈してSQLを生成し、データを取得する。新たにデータ間の関係性をナレッジグラフで表したGraphRAGもサポート。より関連性の高い応答を生成できるようになり、Amazon Neptune上へのグラフ生成も可能になった。

RAGの強化にGraphRAGもサポート

　「Amazon Bedrock Data Automation」では、文書や画像、動画、音声などの非構造化データを解釈し、RAGなどで用いられる構造化データを出力できる。マルチモーダルデータのデータオートメーションを支援することで、データ活用のサイクルを大幅に短縮する。また、「Amazon Bedrock Guardrails Multimodal Toxicity detection」は画像データに対するコンテンツフィルターを行ない、ヘイト、侮辱、性的、暴力などさまざまなカテゴリに渡るコンテンツの検出とフィルタリングを行なえる。

開発者も、ビジネスユーザーも、Amazon Qをもっと身近に

　生成AIエージェントであるAmazon Qシリーズに関しては、開発者向けのAmazon Q DeveloperがSageMaker Canvasに組み込まれ、データの準備からモデルの準備、デプロイメントまでのライフサイクル全体を支援する。Amazon Q Developerは、ユーザーの目的を理解して、必要なタスクに分類し、適切な機械学習のモデル分類やデータ準備方法などを提案してくれる。

　ビジネスユーザー向けの「Amazon Q in QuickSight Scenarios」では、QuickSightのユーザーが自然言語で質問や目標を与えることで、実績可能な分析ステップに分解し、分析をガイドする。分析アプローチの提案、既存のダッシュボードからの自動分析、関連する洞察の提案、推奨アクションなどを提供し、専門スキルなしで高度な分析が実行できるという。今後もデータとAIの分野を統合（コンバージェンス）させていくことになる。

　AWSはテクノロジーによるイノベーションを加速するために、学習者に対する支援も行なっている。シバスブラマニアン氏は、200万人に対して無料のAIトレーニング、2900万人に対して無料のクラウドスキルトレーニングを提供してきた実績をアピール、また、学習困難者のための奨学金として2800万ドル、将来のビルダーのための奨学金として4600万ドルを提供してきたという。

学習者に向けた支援も拡充している

　新たに発表された「AWS Education Equity Initiative」では、世界中の恵まれない学習者へのアクセスを拡大するデジタル学習ソリューションに対して、最大1億ドルのAWSクレジットと技術アドバイスを提供する。AWSのAIテクノロジーを活用したソリューションの構築と拡張に関してガイダンスが提供されるという。

■関連サイト

• AWS re:invent 2024