本記事はソラコムが提供する「SORACOM公式ブログ」に掲載された「生成 AI を “さらに” 使いこなす、5つの考え方とユースケース【前編】」を再編集したものです。
こんにちは、ソラコムのテクノロジー・エバンジェリスト 松下(ニックネーム: Max)です。
皆さんは生成 AI をどのように活用しているでしょうか?
2022年11月の ChatGPT 登場以来、私は執筆のサポートやアイデアの壁打ち相手として、毎日のように利用しています。ソラコムでもブログの原稿作りや、サポート支援をするボット提供といった成果を出しています。このように、人間との対話を支援する「チャットボット」としての活用が、現在の生成 AI のトレンドです。
ここでは、チャットボット以外にも適用できる「生成 AI をさらに活かす、5つの考え方」を、前後編に分けてご紹介します。
生成 AI 活用、5つの考え方
生成 AI の活用の方向性は、以下の5つが考えられます。
- マルチモーダル情報の認識
- 時系列データへの適用
- データ加工・処理の自動化
- UX の拡張 ― オフライン動作や、クラウド上の LLM との協調
- 物理世界へのフィードバック
すでに実現・活用され始めていることもあります。ここからは、具体的な技術や考えられるユースケースと共に詳しく解説していきます。
マルチモーダル情報の認識
マルチモーダルはテキストだけでなく画像や音声といった、種類の異なる情報をまとめて扱える事を指します。対義語はシングルモーダルです。この技術は既に利用ができます。
以下のように、レシートの画像と “記載金額はいくらか?”というテキストという2つの異なる情報を生成 AI に入力して、その結果を得ています。
応用例としては、上記のように OCR(光学的文字認識)のような使い方が即戦力になるでしょう。また、人数や在庫のカウントも考えられます。また、異なる情報を扱えるという事は、センサーやカメラといった IoT デバイス、すなわち人間以外からの入力データを、生成 AI の情報源に使えることを意味します。人間がデータの整形せずに、生成 AI にデータを渡すことが可能になります。
マルチモーダル AI の事例
ソラコムでは2024年7月に三菱電機とソラコム・松尾研究所にて「生成 AI と IoT の組み合わせで空調設定の最適化」といった成果を出しています。これは 1) IoTデバイスで得た室内温度 2) 天気情報で得た外気温 3) 空調機の設定温度 4) 室内ヒートマップ画像 5) 勤務者からのフィードバックという5つの異なる情報を生成 AI に入力し、設定温度を導き出しました。
このようにマルチモーダルにより、すでに生成 AI の社会実装への道筋が見え始めているのが現状です。
時系列データへの適用
時系列データとは、時間の経過に沿って測定されたデータの事です。室温であれば、10時に25.5℃、11時に26.3℃…といった具合ですし、他にも電力消費量や貯水池の水位、製造ラインの生産数に来店者数など、私たちの身の回りは時系列データで溢れています。一般的には「過去1時間の平均は〜」「最新(=最後の1件)の情報は〜」といった使い方をしています。
このように、生成 AI は時系列データの「分析」そして、「未来予測」も可能にします。
時系列データの分析
分析ですが、平均・中央値といった集計に加えて、レポートで利用できる「トレンドの言語化」に利用できます。例えば「1時間毎の平均と中央値の算出と、そこから得られる洞察が欲しい」といった指示ができます。また、異常値(外れ値)や欠損値の検出、補完をした上での集計・分析もできます。
ソラコムでは、ChatGPT を用いて IoT の時系列データを分析できる「SORACOM Harvest Data Intelligence」というサービスで、この機能を使える環境を提供しています。
未来予測、2つのアプローチ
もう1つの使い方「未来予測」には、2つのアプローチが存在しています。時系列データ向け基盤モデル(時系列基盤モデル)の利用と、LLM(大規模言語モデル)へのデータ入力やプロンプトの工夫があります。両者に共通しているのは、実績や複数の情報を入力元として、未来を予測させることができる点にあります。
以下は、時系列基盤モデルの1つ「Amazon Chronos」を用いて、シンプルな増分データを基に予測される範囲と、最も強く予測した値をグラフ化した例です。
このような未来予測は、回帰分析などの統計的手法や機械学習(そして、現場の経験も含めて)で行っています。対して、専門知識や学習フェーズが無くとも未来予測が手軽に実現できれば、今後の業務の在り方、例えば人員や在庫の配置、電力、交通量等といったリソースマネジメントの考え方を一変させる可能性を秘めています。
時系列基盤モデルと、LLM へのプロンプトの工夫については、別のブログ(時系列データの予測に使える「時系列基盤モデル」の種類と活用例)で詳しく解説していますので、併せてご覧ください。
データ加工・処理の自動化
生成AIは、自身が持つ膨大な情報を “常識” として扱い、人間が “想像” するように予測や推論が可能になり始めています。
例えば、先ほどのレシート画像では “合計” という情報があります。対して “支払金額は?” という質問をすると “支払金額=合計金額” という「常識」を使って回答しています(GPT-4o を使用)。すなわち、データの意味を理解した上でのデータ処理が可能なのです。
「意味」によるデータの取り扱いは、データ処理における ELT(抽出・変換・格納)プロセスや UX(ユーザー体験) の大きな変化をもたらす可能性を秘めています。
例えば住所から地域区分を割り当てる事を考えてみましょう。一般的には、入力された住所を基に解析用のプログラムや SQL の準備が必要になる手間があります。生成 AI では以下のように、”住所” と “地域区分” の関係性や意味を理解してもらい、データ加工させることもできます。
考えられる応用例には、入力フォームの簡素化があります。ユーザーの入力量を最小限にしつつ、受け取り側が欲しい情報を生成 AI で増幅・展開できます。
他には様々なデータベース間を「意味」でつなげる使い方も考えられます。CRM や SFA、基幹 DB、問い合わせ履歴、そして外部のニュースサイトや SNS といった様々なデータベースに対して、会社名や担当者、他には役職といった抽象的な情報で一括抽出できます。さらにサマリー作りも支援させれば、お客様訪問前の情報収集といったセールス部門や、コールセンター業務の強い味方になります。
これを実現する技術キーワードは RAG(検索拡張生成) やファインチューニングです。
IoT においても、デバイスから送信された機器 ID を基にお客様や設置先情報、障害・修理履歴との連動や、先に紹介した時系列データとの組み合わせで、故障前の能動的なメンテナンスも実現できます。
このように、手動で行っていたデータ加工や処理の省力化・自動化も、生成 AI の活用ポイントです。
ここまで、3つの考え方「マルチモーダル情報の認識」「時系列データへの適用」「データ加工・処理の自動化」を解説しました。
残り2つ「UX の拡張」「物理世界へのフィードバック」は、後編をご覧ください。
― ソラコム 松下 (Max) ※ mixi2 はじめました! (@ma2shita)
投稿 生成 AI を “さらに” 使いこなす、5つの考え方とユースケース【前編】 は SORACOM公式ブログ に最初に表示されました。
この連載の記事
-
第493回
デジタル
【後編】生成 AI を “さらに” 使いこなす、5つの考え方とユースケース -
第491回
デジタル
野外活動を健やかに!温度と湿度で危険な暑さを判定して SORACOM Lagoon 3 で通知しよう -
第490回
デジタル
SORACOM FluxがAmazon Novaに対応、ATOM Cam Swing専用LANアダプターを販売開始、他 ほぼ週刊ソラコム 12/14-01/03 -
第489回
デジタル
業界別に学べる、IoT・デジタル化の課題と解決策の動画を公開 -
第488回
デジタル
M5StackからSORACOM、そしてAWSを体験!北陸のIoTイベント ― IoT Get Started Day レポート -
第487回
デジタル
ソラコムサンタより愛をこめて 2024 -
第486回
デジタル
SORACOMをもっと便利に!無料機能フル活用&SIMの選び方 -
第485回
デジタル
省電力通信LTE-M対応の小型マイコンボードをSORACOM IoTストアで提供開始、ローコードIoTアプリケーションビルダー「SORACOM Flux」の料金プランを発表 takuyaのほぼ週刊ソラコム 11/30-12/13 -
第484回
デジタル
AWS re:Invent 2024に見る、IoTの成熟と生成AIとの融合 -
第483回
デジタル
二歳半の子供を持つエンジニアの一日の働き方