科学技術振興機構の広報誌「JSTnews」 第75回

【JSTnews3月号掲載】特集1

情報学・神経生理学・社会心理学の学際的研究で、AI によるおすすめの信頼性を向上！

　AIによる推薦、いわゆる「おすすめ」が生活に浸透する一方で、その信頼性には問題が残されている。産業技術総合研究所の後藤真孝上級首席研究員らは、情報学・神経生理学・社会心理学を融合した学際的研究で、音楽の「おすすめ」の信頼性を向上し、ユーザーが自分の好みに基づき探索できるシステムを開発。実際に運用されている音楽鑑賞サービスに推薦の挙動を可視化した仕組みを実装するなど、数多くの成果を上げている。

推薦の選択肢が偏り誘導される
説明可能に加え探索可能も重要

　スマートフォンやパソコンで何らかのデジタルサービスを利用する際、システムが推薦する複数の選択肢からどれかを選ぶという行為は、すでに私たちの生活に浸透している。例えば、動画配信サービスを見終えると、おすすめ動画の一覧がずらっと表示され、次々に見続けてしまった経験がある人もいるだろう。

　こうした推薦は自分では見つけにくい選択肢を発見でき、非常に便利である。しかも強制ではなく、自分の意思で選んでいるように感じられるため、不安なく受け入れられがちだ。しかし、故意や悪意によって選択肢が偏り、誘導されてしまったとしてもユーザーは気付けない恐れがある。心理学の用語としても知られる「単純接触効果」のように、選択肢として繰り返し触れると好みが変わってしまう懸念もある。

　現在、推薦システムの多くには人工知能（AI）技術が使われているが、ブラックボックスだと信頼性が低いため、透明性を高めて「信頼されるAI」を実現するべく、判断根拠を提示する「説明可能（Explainable（エクスプレイナブル））」なAIの研究開発が多く取り組まれている。だが、虚偽の根拠を示したり、都合のいい根拠だけを提示したりする恐れも指摘されており、それだけでは信頼してよいかわからない。AIによる推薦技術が今後、デジタル空間から現実世界での行動選択にも広がるにつれて、こうした問題は一層深刻になっていくだろう。

　そこで、産業技術総合研究所の後藤真孝上級首席研究員らは、説明可能な推薦技術と相補的な役割を果たすことで信頼性を向上する「探索可能（Explorable（エクスプローラブル））」な推薦基盤技術を開発。AIによる推薦の挙動をユーザー自身が探索・変更できるようにすることで、人間中心に制御できる透明性・操作性の高い、信頼される推薦システムの実現を目指した。

信頼を損なう3つの問題を解決
推薦挙動を変更して誘導を防ぐ

　後藤さんらは、推薦システムの信頼を損なう問題として、①推薦によって無自覚に誘導される「推薦誘導」②多様な嗜好（しこう）・文脈に応じて自在に推薦の挙動を切り替えられない「推薦束縛」③推薦を信頼し過ぎて自分で考えなくなる「推薦過信」の3つを独自に提示。JSTのCRESTでは、それぞれの解決に取り組んだ。

　研究では楽曲や動画といった音楽コンテンツを主な対象として、汎用（はんよう）的な基盤技術の開発、推薦技術に基づく応用事例の開発、実証実験による有効性の検証を同時に進めていった。音楽は一人一人の好みが異なり、楽曲数が多いため、推薦システムの需要が高い。加えて、スペックだけで判断できる商品に比べてユーザーが推薦に従いやすかったり、1曲が3～5分と短く、推薦の実験がしやすかったりするメリットもある。

　後藤さんはさらに「信頼される推薦技術では、人が信頼を感じるかどうかが重要です」と指摘する。そこで自身が専門とする情報学だけでなく、神経生理学と社会心理学の3分野を融合した産官学の学際的な研究を実施すべく、それぞれの分野の第一人者である、ソニーコンピュータサイエンス研究所の古屋晋一リサーチディレクター、兵庫県立大学の土方嘉徳教授とチームを組んだ（図1）。

図1　「信頼されるAI」の実現では人が信頼を感じるかどうかが重要になるとして、情報学、神経生理学、社会心理学の3分野融合かつ産官学の学際的な研究を実施した。

　まず取り組んだのが、楽曲に対する個人の嗜好を反映して推薦する数理的枠組みの実現である。初めに、ユーザーとその「お気に入り」楽曲、楽曲同士の曲調の音響的な類似度、楽曲とそのクリエーター（制作者）の3つの関係性をそれぞれ行列で表した（図2左）。各行列は、ユーザー、楽曲、クリエーターをノード（点）としたグラフで表現でき、3つのグラフそれぞれを「レイヤー」と呼ぶ。次に、3つのレイヤーに異なる重み（重要度）を設定して1つのグラフに集約し、つながっているノードが近づくようにノードを移動しながらそれらの座標を反復計算で自動決定する仕組みを実装した（図2右）。

　ユーザーに楽曲を推薦する際には、そのユーザーと各楽曲のノードベクトルの内積を計算して、大きい順にランキング形式で出力する。この利点は、推薦を利用する際に3つのレイヤーの重みをユーザーが変えて推薦の挙動を変更できる「探索可能（Explorable）」な推薦の数理的枠組みとなっていることだ。これによって、推薦システムの問題として挙げた推薦誘導（①）に対処できるようになった。

図2　ユーザーとその「お気に入り」の楽曲、楽曲同士の曲調の音響的な類似度、楽曲とそのクリエーターの3つの関係性について個別のレイヤーを作成。3つのレイヤーに重み（重要度）を設定し、統合することで、ユーザー自身が重みを変えて推薦の挙動を変更できる「探索可能（Explorable）」な推薦の数理的枠組みを作った。図中の丸はそれぞれ、ユーザー（u）、楽曲（s）、クリエーター（c）のノードを示す。

音楽サービスの推薦機能を拡張
束縛も過信も起きにくくする

　後藤さんらは、この探索可能な音楽推薦システムをクリプトン・フューチャー・メディア（札幌市）と共同開発した音楽発掘サービス「Kiite（キイテ）」に実装し、2022年11月に公開した。Kiiteはボーカロイドをはじめとする歌声合成技術を用いた膨大な楽曲を効率良く探索して聴けるサービスとして2019年に始まったもので、今回の実装によって推薦機能を拡張し、操作性と透明性を高めた。

　ユーザーは、Kiiteでの楽曲の人気度（お気に入り）、楽曲類似度（曲調）、クリエーターのどれを重視するか、あるいはこれらをバランスよく考慮するかの4つの推薦モードをボタンひと押しで切り替え、その推薦結果を見ることができるようになった（図3）。「レイヤー構造を扱える数理的枠組みを独自に考案・開発したからこそ、推薦の挙動を切り替えられる、操作性の高い探索可能な推薦機能が実現できました」と後藤さんは説明する。

図3　「Kiite」に実装した音楽推薦システムでは、推薦モードの切り替え機能を提供して操作性を高めた。推薦された楽曲が好みに合っているかをフィードバックすることで、自分好みに近づけることができる。

　後藤さんたちはさらに、通常の推薦エンジン（ユーザーのノードに基づく推薦）に加えて、複数の特化した「カスタム推薦エンジン」をユーザー自身が追加し、自由に切り替えられるようにした。推薦の基になる楽曲群を指定するだけで手軽に作成でき、フィードバックすることで自分好みに育てていくことができる。ある興味を満たす推薦エンジン、ある気分の時に使う推薦エンジンといった具合に複数のカスタム推薦エンジンを作成して使い分けることで、多様な嗜好・文脈に応じて推薦の挙動を切り替えられる。この操作性の高い推薦機能により、推薦束縛（②）の問題も解決可能にした。

　推薦過信（③）に対しては、推薦の根拠を可視化できる音楽発掘サービス「Kiite World」で対処した。2023年7月にリリースされたこのサービスでは、ユーザーと楽曲の全てのノードの配置が2次元のマップ上で可視化される。推薦結果の100曲もマップ上に表示できるため、それらを次々と選んで聴くことで気に入った楽曲を見つけられる（図4）。

　内積による計算で推薦する仕組みのため、推薦された楽曲は自分のノードの近くにあるはずだが、それを実際に自分の目で確認でき、透明性が高いために推薦過信が起きにくい。さらに、遠い楽曲が推薦結果に混入されても気付けるので推薦誘導を防ぎやすい。「音楽推薦の内部状態をここまで可視化して、ExplainableかつExplorableな音楽推薦を実現できたのは画期的です」と後藤さんは自信を見せる。

図4　「Kiite World」では、楽曲推薦システムが自動決定したユーザーや楽曲のノードの配置（高次元空間での座標）を2次元マップに変換して可視化した。各ユーザーのノードは「家」で表され、似た好みを持つユーザーの家は近くに配置される。家の周りにはユーザー達が好きそうな楽曲があるので、推薦結果の楽曲をマップ上で聴いていると、確かに近くにあることがわかって透明性が高い。このように推薦根拠の配置が可視化されているのは先進的である。

心理学で信頼形成モデルを構築
信頼状態で瞳孔径と脳波が変化

　後藤さんたちは、推薦システムの信頼性を社会心理学の側面からも評価した。例えばKiiteでは、推薦モードの切り替え機能がある場合とない場合の比較評価を可能にする専用モードを実験のために実装した。82人の評価結果に基づく構造方程式モデリングにより、切り替え機能があることで知覚の評価が上がり、信頼の評価も上がることが判明した。つまり、制御感と便利さを感じることで満足度や再利用意図につながるという結果が得られたのだ。これにより、ユーザーの信頼形成のモデルを構築することができた。Kiite Worldのマップの可視化で推薦誘導に気付きやすくなることも評価した。

　推薦システムを利用することで推薦過信が起こっていないかどうかを調べるために、心理学の見地から新たに「推薦受容傾向尺度」も開発。11問のアンケートで推薦結果に対する従順さを高い水準まで測定できるようにした。開発の中心となった土方さんは「最終的にはかなり精緻（せいち）な心理尺度を作ることができたと思います。心理学の分野で推薦システムの過信にまで踏み込んだものはなかったので、これから大きな研究テーマに発展するだろうと考えています」と期待する。

　古屋さんは、神経生理学に基づく推薦システムの信頼性の評価を担当した。精度が異なる3種類の推薦システムをそれぞれ30人に繰り返し試してもらいながら、瞳孔径や脳波を計測。実験によって、信頼状態が瞳孔径や脳波の変化に現れることを確認した。例えば、推薦システムから「嫌い」と推薦された曲が実際には「好き」だった場合、推薦システムを信頼していれば瞳孔径が大きくなり、信頼していなければ瞳孔径が小さくなることがわかった。将来的には、行動や生理指標によって推薦システムへの信頼状態を推定する技術への発展が期待できる。

創作支援やピアノ指導に応用
音楽以外の分野にも展開へ

　CRESTでは、推薦技術を創作支援に生かすチャレンジもした。その1つが、音楽ビデオ制作支援サービス「TextAlive（テキストアライブ）」への推薦機能の追加だ。TextAliveは、産業技術総合研究所が2015年に開始したサービスである。楽曲のビートやサビ、歌の発声タイミングを自動解析することで、歌われる瞬間に歌詞の文字が踊るように表示される「リリックビデオ」を生成・編集可能だ（図5）。

図5　「TextAlive」のリリックビデオ作成画面。画面下部に表示された19種類の演出スタイルから好みのものを選び、テキストの書体や色、背景を細かく調整できる（画面右）。2023年4月のアップデートで、楽曲に合わせて演出スタイルを自動的に推薦するようにした。さらに、TextAliveが発展した開発フレームワーク「TextAlive App API」は、インタラクティブに毎回変わる「リリックアプリ」という新たなコンテンツ表現を可能にした。3ページの写真背景にある展示施設「AIST-Cube」で、リリックアプリを体験できる。

　後藤さんらは、2023年4月のアップデートの際に、Kiiteに実装済みの音楽推薦エンジンをTextAlive用に拡張した。これにより、19種類ある演出スタイルから曲調に合ったものを自動的に推薦できるようになった。2025年8月には、色の集合である「カラーパレット」を楽曲の曲調に合わせて推薦し、動画の中で使える新機能も公開した。

　もう1つの創作支援は、ピアノのトレーニングの推薦システムの開発だ。練習中のピアニストの鍵盤のタッチや体の動きをセンシングして演奏技能を推定した上で、結果に基づいて技能指導データベースから適切な指導を推薦する。

　この研究の中心となった古屋さんは、独自のセンシング技術などによりピアニストのタッチが音色をどう変えるかを科学的に解明。音色が「硬い」場合の適切な指の動きといった技能指導を推薦できるようにした。現時点ではまだ実験段階だが、古屋さんはソニーコンピュータサイエンス研究所が主催するジュニアピアノアカデミーで身体教育にも携わっており、今後はそうした場での応用も期待される。

　プロジェクトでは他にも、集団に対して音楽を推薦する「Kiite Cafe」（図6）やおすすめの10曲のサビだけを次々に聴ける「Kiite Check」のリリースなど、当初計画を上回る成果も上げた。「Kiite Cafeをさまざまな形で応援してもらえて、Kiite  Worldでユーザー主体のイベントが頻繁に開かれたのは衝撃を感じるほどにうれしかったです。ユーザーの皆さんに愛用してもらえることに感謝しています」と後藤さんは、社会実装の楽しさを強調する。

　後藤さんたちが開発した「信頼される推薦基盤技術」の汎用的な部分は、音楽以外にも展開可能だ。例えば、ショート動画やイラストでは音楽同様にレイヤーを分けた推薦モデルが有効かもしれない。「そうした展開では、産業界などと一緒に社会実装できる形で取り組む必要があるので、連携していければと思っています」と後藤さんは展望を語る。

図6　「Kiite Cafe」では、同じ楽曲を同じ瞬間に聴きながら、リアルタイムにコミュニケーションできる。その場のユーザーの好みに基づいて選曲される仕組みで、選曲理由が表示される透明性や誰でも選曲に参加できる操作性が実現されている。多くのユーザーに応援され、初音ミクなどのボーカロイドキャラクターの誕生日を祝う企画が開かれるなど、想定を超えた盛り上がりを見せている。

今までなかったものを生み出すのはとても楽しいことで、研究者はそれができる非常に幸せな職業です。研究に取り組む上では、ワクワクする気持ちがとても大切で、今回の専門分野外との連携でもそれを強く感じました。研究者になってもならなくても、さまざまなことに好奇心を持って胸が高まる瞬間を増やしていくと人生が豊かになるはずです。

■関連サイト

• JSTnews最新号
• 科学技術振興機構（JST）