不動産チャットのスミカ、LLMで業務の30%超を自動化、顧客体験の向上も

株式会社スミカ
株式会社スミカ(本社: 東京都港区、 代表取締役: 山口結生、以下スミカ)は、現在世間が業務活用を模索しているLarge Language Model(ChatGPT等の根幹技術となる大規模言語モデル、以下LLM)に関して、極めて有用な実例を作れたため、その知見を共有すべくリリースをいたします。 ChatGPTを皮切りに、ユーザーによる自然文を自動で処理する技術に注目が集まる中、一方で具体的にどう技術を活用すればよいか、という声も多いと感じます。スミカでは、自社での既存のチャットシステムと、そのシステムの大規模データを活用し、世間をリードするような開発を進めていきます。


【背景】
スミカは、チャットを通した顧客体験を最大化すべく、テクノロジーに寄る自動化/効率化に加えて、世界中のギグワーカーに寄る有人オペレーションを組み合わせ、サービスを展開している企業です。

不動産賃貸領域でのサービス開始から5年で、延べ40万ユーザーの顧客対応、400店舗を超える店舗様との取引に拡大しており、業界最大規模となっております。
そんな中でのLLM技術の台頭は非常に弊社にとって追い風であることはもちろんですが、自然言語を取り扱うパイオニアとしての立ち位置として、そしてミッションである「チャットを通した顧客体験の最大化」として、LLMがさらなる社会実装にもつながればと考えています。

スミカでは、不動産を探す顧客対応をチャットで行っておりますが、不動産領域のチャットのやり取りは単なるQAにとどまらず、極めて提案営業である側面が強いと考えています。そのため、従来の技術では自動化できない返信対応が数多く存在しておりました。

今回はLLMの技術を中心に、独自のシステムを構築し効率/効果ともに向上させることができましたので、以下に記載いたします。


【概要と検証結果】
従来の技術では自動化できない返信対応の改善
不動産では、QA的に完結できる部分はむしろ少なく、物件の紹介や、物件の感想に対しての提案、ご経験や知識の無いお客様をリードするトーク、など、「こちら側が積極的に提案/リードする会話」が重要となってまいります。そのような会話は、近年のChatGPTによる「質問したら回答してくれる」という範囲では難しく、「こちらから常に提案をする」という振る舞いが必要とされます。本ふるまいは、たとえ「ChatGPT4のプロンプトに対して役割を定義+事前準備のfew shot learningを加えた」としても、実現が極めて難しいことを観測しておりました。

しかし、今回スミカでは、自社の過去の大規模な会話データ(勿論上記の不動産の提案業務をメインとする)と、既存の顧客対応システム(提案スクリプトを自動生成するもの。数億のパターンを生成可能)を活用し、LLMを自社に最適化したチューニングを施し、実業務に十分耐えうるアルゴリズムを生成いたしました。

結果として、30～40%の対応が完全自動化され、全体の返信速度が20%ほど向上することが見込まれております。これにより、対応のクオリティを下げず、素早い対応が必要なチャットでの体験向上が認められると考えます。

LLM(ChatGPT等の根幹技術となる大規模言語モデル)は、現在社会ではGPTのアルゴリズムを中心としており、現在OpenAI社によってGPT4が出ている状況です(ChatGPTは、GPTを人間との対話にあわせfine-tuningしたものとなります)。

今回の弊社の実装では、OpenAI社の提供するAPI(以下、OpenAI API)をLLMでの実装はメインに添えつつ、 前段にルールベースでのアルゴリズム、OpenAI APIによる要約や推論(VectorDBを活用した動的なfew shotは勿論、多段アルゴリズムにして最適な入出力を得るためのチューニング込み)、後段に多クラス分類による既存テンプレートの選択、会話の整合性チェックアルゴリズムでのスコアリング(こちらにもLLMをメインに使っております)、等を組み合わせております。

さらに、弊社は元々オペレーションの領域にも非常に強かったことから、うまくスコアリングによってはオペレーション対応に切り替える等の仕組みを作ることで、十分な顧客満足度を担保しております。

【今後の展望】
今後もLLMを十二分に活用し、チャットでの対応をよりクオリティ高く、効率的でスケーラブルなものにしてまいります。そのための研究開発への投資、エンジニアの採用等に邁進してまいります。

既に前述の返信対応のその他にも、「会話のクオリティを維持するためのチェック機能」や「オペレーター同士のフィードバックオペレーション」などを順次自動化しております。これにより社内の業務削減は勿論、より多くの時間を顧客に対して充てることができ、結果として顧客体験の向上に大きく寄与しております。

順次幅広い領域に実装してまいります。


【代表からのコメント】
当初はChatGPT4の登場に大きく期待しておりましたが、既存のコーパス(web上の公開文が主)にはチャットに寄る不動産取引でのプロの対応はないようで、色々とfew-shotやCoT的なプロンプトエンジニアリングを加えてもなかなか精度が出ず苦戦しました(今思えば当然というべきかもしれません)。

しかし、様々な実験を経て、自社の大規模データ、大規模オペレーションの双方を活かしたことで、LLMをうまく中間処理に活用した実業務に十分耐えうるシステムが作れて本当に嬉しく思っております。

これにより顧客対応の幅が広がりますので、さらに自社独自のデータが集まるようになります。それにより、さらなるアルゴリズムのチューニング精度があがり、正のフィードバックループが回っている状況と言えます。

引き続き、不動産を中心としたチャット対応の顧客体験を最大化すべく、邁進してまいります。


【サービス紹介】
不動産を探すユーザーに対して、LINEを中心としたチャットでのやり取りを行うサービス「スミカ」を展開しております。既に延べ40万人以上がLINEでやり取りされており、業界最大規模となっております。チャットではアポイントメント獲得までとなっており、そこから先の内見などは提携店舗様がご対応されるビジネスモデルを展開しております。

サービスを支える裏側は、質の低いBOTではなく、有人のオペレーションを踏まえたものを展開しており、テクノロジーとオペレーションのハイブリッド的な事業体を構築しております。
※ なお、新規提携事業の開始に伴い、従来株式会社jentで運営していたLLMを活用するCRM事業は、2023年3月に株式会社スミカに移管しています。


※本件に関するお問い合わせ
株式会社スミカ 技術広報 山口結生
電話050-1754-3632 メールアドレスsupport@sumika.live