エンジニア魂が燃えたぎる！生成AI開発イベント「AI Challenge Day」 第1回
ASCII＆マイクロソフトの「AI Challenge Day 2024 in Kobe」レポート
日本マイクロソフトのAIパートナー10社が神戸に集合 RAGとマルチモーダルに挑む
2024年05月21日 09時00分更新
本番環境でうれしいPTU、そしてRAGの精度を上げるナレッジも紹介
その後、審査員の5人は最終選考のために舞台裏に。代わりに日本マイクロソフトの巴山儀彦氏が「AIアプリの本番活用を考えるためのProvisioned Throughput活用」というタイトルで講演を行なった。
クラウド＆AIソリューション事業本部 データプラットフォーム統括本部 Data＆AI第三営業本部 本部長の巴山儀彦氏
生成AIがゲームチェンジャーとなり、システムの2/3にAIが入ってくる中、巴山氏は「スケールする構成をどのように実装するかが重要になる」と指摘。本番システムを展開するにあたっては、既存の従量課金プランではレイテンシーやスループット、スケール、そしてコストなどに課題が出てくるという。この課題を解決する方法が予測可能なレイテンシと安定性を提供するProvisioned Throughput Unit（PTU）。巴山氏は、PTUの導入により、安定した性能を提供することで、結果的に顧客満足度に貢献できるとアピールした。
続いて登壇した日本マイクロソフトの日山雅之氏は、「RAGで精度を出すためのナレッジ集」と題して、今回の答え合わせとも言えるポイントを説明した。
日本マイクロソフトの日山雅之氏
RAGは、回答に必要な情報を収集するための検索（Retrieve）、質問と取得した情報を元にしたプロンプトのビルド（Augment）、そして生成AIによる回答生成（Generate）に加え、質問の回答に必要な情報の格納（Store）などで構成されており、どれも重要だという。その上で、今回のコンテストの評価スクリプトのような「Evaluation」がもっとも重要だと指摘。「評価がないプロジェクトがけっこうある。これだとチューニングしても、精度が上がったのかどうかがわからない」とコメントし、まずは評価の仕組みを構築することを勧めた。
その後、日山氏はAzure Document Intelligenceを用いたドキュメント分析や図形抽出、Azure AI Visionを用いた画像のベクトル化と検索、Azure AI Searchにおける4つの検索手法（フルテキスト／セマンティック／ベクトル／ハイブリッド）の選択、チューニング、検証方法などを説明。最後、日山氏は「どこが重要かというと、すべてが重要。そしてEvaluationが一番重要」とコメントし、ナレッジをまとめた。まさに2日間RAGと格闘してきた参加者にとっては、貴重な情報提供だったに違いない。
最後は5つの賞が発表 グランプリは？
さて、セッションのあとは会場に戻ってきた審査員から5つの賞が発表された。
まずWorld Wide Learning賞は、ワークスアプリケーションズが受賞。今回問題設定した花ヶ崎氏は、「僕の作ったものを想定以上に処理してくれた、まさに『前処理の鬼』と言わざるを得ない。Sudachiを使った表記揺れ対応、Document Intelligenceを使ったデータ読み込み、論文を踏まえたチャンキングのオーバーラップ設定など、とにかく学びしかなかった」と高く評価した。
World Wide Learning賞は「前処理の鬼」ワークスアプリケーションズ
アスキー賞の1つ目は、アバナードが受賞。角川アスキー総合研究所の大谷は「まずはトップバッターおつかれさまという評価。RAGの方法を選べたり、DevOpsで進めたり、Copilot Studioにチャレンジしたり、最後まで見た結果としてアバナードさんすごいなと思いました」とコメント。
アスキー賞の2つ目は、パーソルプロセス＆テクノロジーが受賞。日本マイクロソフト 大川氏は「マイクロソフトのテクノロジー乗っけ盛りみたいなことをやっていただいたのが一点。Copilot Studioも使ってもらったし、審査員の中で好評だったのはEntraIDを使ってくれたことでした。もう1つはプレゼンに技術やカスタマーストーリー、旅の楽しさまで含めてくれた。えらい人向けのエレベータールーツールとして使えるんじゃないかと思いました」とコメントした。
1つ目のアスキー賞はトップバッターだったアバナード
2つ目のアスキー賞はマイクロソフトのテクノロジーてんこ盛りだったパーソルプロセス＆テクノロジー
準グランプリは、NTT西日本／NTTスマートコネクトが受賞した。日本マイクロソフト 吉田氏は、「初めてチームを組んだとは思えないようなバランスの良さ。カスタマーストーリーが前面に出て、UIまで一貫していた。Document Intelligenceを使ってもらったり、構造化、エンタープライズ対応まで、細かいところまでやっているぞ感がすごくて、栄養バランスめちゃくちゃいいみたいな感じでした」と語った。
グランプリは、ラストに登壇した日立製作所が受賞した。日本マイクロソフトの内藤氏は、「大トリがかっさらっていくという素晴らしい成果でした。精度って、今は定量的に示せる。だから、精度を定量的によくすることもできる。このアプローチを示してくれたのが日立製作所さんだと思っているし、エンタープライズ周りの実装も抑えてくれた」とコメントした。
見事準グランプリに輝き地元関西に花をもたらせたNTT西日本／NTTスマートコネクト
高い評価スクリプト結果はもちろん総合的に優れていた日立製作所がグランプリを受賞した
イベントの最後、挨拶に立った日本マイクロソフトの伊藤信博氏は、「わずか2日間で、初めて会ったチームのメンバーと、なにこれという初めてテクノロジーを使って、ここまでできるんです。すごくないですか？」とコメント。全員に起立を促し、お互いを拍手でたたえ合った。最後、5月29日に開催される「Microsoft AI Partner Training Roadshow」を紹介し、「みんな、ここの同窓会しませんか？」とアピールした。最後は「生成AIを乗りこなせ！」のエールでイベントを締めた。
日本マイクロソフト 業務執行役員パートナー事業本部 パートナー技術統括本部長 伊藤信博氏
YouTube配信後は、参加したパートナーのエンジニアたち、日本マイクロソフトのメンバー、Microsoft AI Co-Innovation Lab 神戸のメンバーが一同に介したネットワーキングパーティが行なわれ、改めてお互いをたたえ合った。緊張のとれた各メンバーに話を伺うと、想定外のテーマに驚愕したところ、クレジットを使い切って頭を抱えたところ、深夜まで作業してしまったところなど、それぞれ苦労はあったようだが、共通していたのは「楽しかった」「学びがあった」という感想。チームメンバーと初めてのテーマに取り組み、とにかく手を動かして、作った成果物、そこに至るまでのプロセスの尊さは、普段の業務ではなかなか得られないものだったようだ。そして、「次もぜひ参加したい」という声も実は共通していた。私もぜひ次を見たい。
