松本典子の「はじめよう!Azure Logic Apps/Power Automateでノーコード/ローコード」 第18回
クラウドフローで生成したデータをデスクトップフローでExcelファイルに記録する連携方法〔後編〕
Power Automateのクラウドフロー(DPA)で「AI Builder」の自動処理をしてみよう
2022年09月27日 08時00分更新
こんにちは、Microsoft MVP(Azure / Business Applications)の松本典子です。
前回第17回と今回の記事では、Power Automateのデスクトップフロー(Power Automate for desktop)とクラウドフローを連携させた、実践的なアプリケーションをノーコードで作成しています。
今回は後編記事として、AI Builderで名刺画像の文字を読み取り、その情報をデスクトップフローに渡すクラウドフロー(DPA)の作成方法を紹介します。
1. 事前準備と確認
デスクトップフローとクラウドフローを連携させる場合、パソコンのOSバージョンやライセンスの確認が必要になります。以下の記事を参考に確認してください。
●第15回 Power Automateのデスクトップフローとクラウドフローを接続して使う〔準備編〕
また、今回は以前作成した「AI Builder」のモデルを利用します。モデルを未作成の場合は、以下のブログ記事を参考にカスタムAIモデルを作成してください。
●<参考ブログ記事>AI Builderの「カスタムモデル」で日本語対応の「名刺リーダー」を作る
最後に、OneDrive上に任意の名前のフォルダーを作成します(今回は「NameCard-OCR」としました)。今回のフローは、このフォルダーに保存された名刺の画像ファイルから自動的に文字を読み取るものです。
2. クラウドフロー(Power Automate)の作成
Power Automateポータル(https://make.powerautomate.com/)の左メニュー「+作成」から「自動化したクラウドフロー」をクリックして、クラウドフローを作成します。
本稿で作成するワークフローの全体図はこのような形です。
2-1. トリガーの作成
「フロー名」にはわかりやすい名前を入力します(今回は、前回のデスクトップフローと同じ名前「名刺一覧リスト」としました)。また「フローのトリガーを選択してください」の検索窓に「OneDrive」と入力し、表示されるOneDriveコネクタのトリガー一覧から「ファイルが作成されたとき」を選択します。
「フォルダー」は「1. 事前準備と確認」で作成したフォルダーを選択し、「コンテンツ対応の推測」は「はい」を選択します。
2-2. アクションの設定:日時
続いてアクションを追加、設定していきます。
今回のフローでは名刺を読み取った日付をExcelファイルに「登録日」として入力するので、まずは日付の処理部分を設定します。
検索窓に「日時」と入力し、一覧から「現在の時刻」アクションを選択します。このアクションはフロー実行時の日時を取得するもので、設定は不要です。
ただし、このアクションで取得できる日時はUTC(協定世界時)のものなので、日本の日時(JST)に変換するアクションを追加します。
検索窓に「日時」と入力し、一覧から「タイムゾーンの変換」を選択します。このアクションは以下のように設定します。
・基準時間:動的なコンテンツから「現在の時刻」を選択
・書式設定文字列:一覧の一番下にある「カスタム値の入力」を選択後「yyyy-MM-dd」と入力
・変換元のタイムゾーン:一覧の中から「(UTC-09:00)協定世界時-09」を選択
・変換先のタイムゾーン:一覧の中から「(UTC+09:00)大阪、札幌、東京」を選択
2-3. アクションの設定:AI Builder
検索窓に「AI Builder」と入力し、一覧から「フォームから情報を抽出する」アクションを選択します。以下のように設定します。
・AI モデル:「1. 事前準備と確認」で作成したカスタムAIモデルを選択
・フォームの種類:動的なコンテンツから「ファイル コンテンツの種類」を選択
・フォーム:動的なコンテンツから「ファイル コンテンツ」を選択
2-4. アクションの設定:デスクトップ フロー
次は、AI Builderが読み取った名刺情報(会社名、部署名、名前……など)を前回作成したデスクトップフローに渡し、デスクトップフローを自動実行させるアクションを追加します。
まず検索窓に「Desktop」と入力し、一覧の中から「Desktop flows」コネクタをクリック、さらにアクションの一覧から「デスクトップ用Power Automateで構築したフローを実行する」をクリックします。
デスクトップフローを呼び出す(デスクトップフローへ接続する)設定方法は、第15回記事の「2-2. アクションの作成」に詳しく記載しているので参考にしてください。
接続できたら、以下のように設定します。
・Desktopフロー:前回記事で作成したデスクトップフローの名前を選択
・実行モード:「アテンド型(サインイン時に実行)」を選択
・会社名~メールアドレス:この部分はデスクトップフローで書き込むExcelの項目が表示されています。それぞれの項目に当てはまる動的なコンテンツ「フォームから情報を抽出する」の一覧の中から「Name value」のように「value」とついているものをそれぞれ選択
・日付:動的なコンテンツ「タイムゾーンの変換」の「変換後の時間」を選択
以上でクラウドフローが完成しました。
3. クラウドフローを実行する
それでは実際にクラウドフローを実行してみましょう。「1. 事前準備と確認」で作成したOneDriveのフォルダーに、スマートフォンのカメラで撮影した名刺画像をアップロードします。
実行結果はこのような形になります。クラウドフローが名刺画像から情報を読み取り、それをデスクトップフローに渡して、デスクトップフローがExcelファイルに書き込んでいます。
最後に
クラウドフローとデスクトップフローを連携させる場合、「実行に成功したかどうか」の通知があったほうが便利な場合もあります。その場合は、クラウドフロー側でTeamsやSlack、メールのコネクタを使い、通知を送るアクションを追加してみてください。Power Automateはコネクタで簡単に機能追加ができることも強みです。
今回のように、クラウドフローとデスクトップフロー、AI Builderを組み合わせると、かなり幅広い処理の自動化が可能になります。ぜひいろいろなパターンを試して、皆さんの業務改善に活用してみてください。
この連載の記事
-
第44回
Team Leaders
契約書を確実に期限管理! SharePoint+Power Automateで期日通知を自動化 -
第43回
Team Leaders
社内からの質問に自動回答! AI Builder+ノーコードでQ&Aボットを作ろう -
第42回
Team Leaders
Power Automateで複数人の承認(多段階承認)ワークフローを簡単作成しよう -
第41回
Team Leaders
重要なTeamsメッセージの見失い/見落としを防ぐPower Autometeのフローを作ろう -
第40回
Team Leaders
クラウドフローからデスクトップフローを「Picture-in-Picture」で起動する -
第39回
Team Leaders
面倒なカレンダー登録作業を生成AIで自動化するワークフローを作ろう -
第38回
Team Leaders
生成AIに日本語プロンプトで指示を出し、メールから情報を抽出してもらおう -
第37回
Team Leaders
フォルダー内のすべてのファイルを添付してメールを自動送信するフローを作ろう -
第36回
Team Leaders
ローカルPCのテキストファイルをPower Automateに読み込ませて活用しよう -
第35回
Team Leaders
受信メールの添付ファイルを種類に応じたフォルダに自動保存する -
第34回
Team Leaders
Power AutomateでTeamsのチーム全員にメンションを送る方法 - この連載の一覧へ