ASCII＆マイクロソフトの「AI Challenge Day 2024 in Kobe」レポート

日本マイクロソフトのAIパートナー10社が神戸に集合　RAGとマルチモーダルに挑む

　2024年4月18・19日、角川アスキー総合研究所（以下、ASCII）と日本マイクロソフトは、生成AIの活用コンテストである「AI Challenge Day 2024 in Kobe」を開催した。会場となったMicrosoft AI Co-Innovation Lab 神戸には、日本マイクロソフトの10社のパートナーが集まり、生成AI活用で注目度の高いRAGアーキテクチャとマルチモーダルの2つのテーマにチャレンジ。プレゼンと結果発表の模様はYouTubeで配信された。白熱の2日間を審査員の大谷イビサがレポートする。

パートナー10社の猛者たちが神戸に集結　RAGの精度を争う

　AI Challenge Day 2024の会場となるMicrosoft AI Co-Innovation Lab 神戸は、神戸の海側に近い神戸商工貿易センターの中にある。ビル自体は決して新しいわけではないが、フロアはリノベーションが施されており、神戸の美しい海も望むことができる。パートナーと開発したAIソリューションも展示されており、施設はかなり有効活用されているようだ。

会場となったMicrosoft AI Co-Innovation Lab 神戸。ソリューションデモ展示も面白い

　さて、初日となる4月18日の朝、今回参加するパートナー10社のメンバーが三々五々会場に集まってくる。各社4～6人程度のチームで構成されるため、参加者は50名強。10時の集合より前に全員集合してしまったため、時間を惜しみ、前倒しでイベントがスタートした。審査委員長であるTECH.ASCII.jp編集長の大谷イビサの挨拶の後、さっそくコンテストのお題が日本マイクロソフトの花ヶ崎伸祐氏から発表される。

並み居る猛者たちを前に挨拶させてもらう角川アスキー総合研究所の大谷イビサ

日本マイクロソフト 花ヶ崎伸祐氏からコンテストのお題が発表される

　今回のテーマは、日本の世界遺産を紹介する世界遺産トラベルアシスタントの開発だ。開催部門は2つで、1つ目は質問応答FAQアシスタントで、事前に与えられた世界遺産についての質問に対して、正解をどれだけ近づけられるかをGPT-4で評価する。また、2つ目は世界遺産の写真データから問題の質問に答えるマルチモーダルアシスタントだ。

　そして、日本の世界遺産についての質問を正確に回答するために必要なのがRAG（検索拡張生成）だ。RAGはRetrieval Augmented Generationの略で、AIオーケストレーターがアプリからの質問に対する検索結果（Retrieve）に基づいて、LLM（大規模言語モデル）に対するプロンプトを生成し（Augmented）、回答生成を生成する（Generation）というアーキテクチャで構成される。

　RAGを実現するためには、用意されたさまざまな形式のデータをデータベースに格納し、最適な形でチャンク分割する必要がある。またベクター検索やセマンティック検索などを前提に、同じく最適なアプローチでインデックス化し、検索結果を含めたプロンプトを生成しなければならない。もちろん、生成された回答を利用者にどのように見せるのかも大きなポイント。このRAGの精度を競うのが、今回の大きなテーマとなっている。

　採点には、回答と正解の類似性を図るChatGPTのプロンプトを使う。類似性を5段階で評価。手作業を減らし、1つのモノサシで統一的に評価を行なえる。今回のイベントでは、このスクリプトによる採点に、審査員による独自評価を加え、総合点を算出。プレゼンテーションや表彰の模様は、翌日のYouTubeで生配信されることになる。なので、作業時間が実質1日。いよいよ激闘がスタートした。

イベントオーナーでもある日本マイクロソフト 内藤稔氏から日程の説明

作業時間は実質1日強　チームごとの異なる開発アプローチ

　さて、コンテストのお題を聞いたパートナーのメンバーは、まずチームが利用できる部屋と翌日のプレゼンの順番を決める。デジタルの最先端と言えるAIイベントにも関わらず、順番決めはアナログなくじ引き。決まったチームはおのおの部屋に散り、セッティングを開始。翌日13時のプレゼン締め切りに向け、各自もくもく開発という流れとなる。

部屋決めとプレゼンはアナログなくじ引きで実施

　運営側のメンバーはラボの一角で待機。とはいえ、日本マイクロソフトのメンバーはチームからのリクエストに応えたり、サポートに回ったり、けっこう忙しい。開始早々は、各チームともアーキテクチャやチームビルディングのフェーズらしく、画用紙やペンなどのグッズへの問い合わせが多かった。

　質問に関しては、参加者と運営をつなぐTeamsで事足りるのだが、オフラインイベントなので直接画面を共有しながらサポートできる。そのため、日本マイクロソフトのメンバーはひっきりなしに各チームのリクエストに応えていた。各チームとも、モチベーションとスキルが高いメンバーが集まっているが、それぞれの技術分野で得意不得意はあるため、さまざまな質問が飛び交っていたようだ。

　ほとんどの部屋はドアの外から中がのぞけないため、定期的に運営メンバーが部屋にお邪魔し、進捗を聞くことにした。運営側が一番懸念していたのは、採点用のスクリプトを回したかどうか。どんな点数でもスクリプトで評価できないとスタートラインにすら立てないからだ。

声をかけるのもはばかられる真剣さで開発に打ち込むパーソルプロセス＆テクノロジーのみなさん

狭めの部屋を引いてしまった電通総研のみなさん。普段使っているキーボードやモニターなどを持ち込んでいるみたい

飲み物を取りに来たところで、日本マイクロソフトとパートナーのメンバーも立ち話。こういうところでの情報交換がすごく糧になってくる

　初日の夕方に伺ったところ、スクリプトを実行したのは半分にも至っていなかったため、とりあえず回すところまでは終わらせるようにアナウンス。あわせて「18時までという終了時刻を延ばしたいか」の希望を聞くと、ほとんどのチームから延長の希望があったため、20時まで延長。参加時と同じく、各チームとも三々五々で夜の神戸の街に散っていった。