71％のユーザーが賛成を示す
マイクロソフトは2月15日（現地時間）、同社のBingブログ内に「新BingとEdge、最初の1週間で学んだこと」と題した記事を投稿した。
同社は2月7日に、OpenAIのGPT-3.5をベースにしたChatGPTよりも強力で、検索用にカスタマイズされた次世代大規模言語モデル「Prometheus（プロメテウス）」上で実行される新しい検索サイト「Bing」とウェブブラウザー「Edge」を発表、169ヵ国以上の一部ユーザーを対象にテストを開始した。
この発表は多くの注目を集め、公開から48時間で100万人以上がウェイティングリストに登録した。
記事では、新しい対話型検索インターフェイスが生成した回答に対し71％のユーザーが「thumbs up（いいね）」と評価するなどエンゲージメントの向上が見られたことを報告。また、検索結果に引用元や参考文献が表示されている点もファクトチェックの観点から評価されているとしている。
一方、スポーツの実況中継などタイムリーなデータを必要とする回答や、財務報告書の数字などより直接的で事実に基づいた答えを求める質問については、まだまだ学習が足りないため、学習に使うデータを従来の4倍程度に増加することを計画している。
さらに、回答精度と創造性のバランスを調節できる仕組みを追加することも検討しているという。
想定外の使われ方も
チャットの使いやすさや親しみやすさは好評としつつも、より一般的な世界の発見やソーシャルエンターテイメントのツールとしてチャットを利用するユーザーがいることは想定外だったという。
「より一般的な世界の発見（more general discovery of the world）」とは、特定の質問があるわけではないが、なんとなく会話しているうちにいろいろな知識を得ることができたという体験を表しているのだろう。また、「ソーシャルエンターテイメントツール」とは、AIが回答するお茶目なセリフをTwitterで見せ合うなど、チャットをエンターテインメントツールとして利用することだと思われる。
また、15を超える長いチャットセッションにおいて、Bingは繰り返しになったり、必ずしも有用ではない応答をしたり特定の口調に変化したりすることがあることも認めており、より細かい制御を与える方法を検討しているという。
さらに、読み込みスピードやデッドリンク、フォーマット違いなどの細かい問題点や、航空券の予約やメールの送信など新機能のリクエストも受け取っている。
マイクロソフトは開発の初期段階においてユーザーのフィードバックは非常に重要なものだと認識している。記事では今後も日々改善を重ね、ユーザーに最高の検索・チャット体験を提供していくことを約束している。
