松本典子の「Azure Logic Apps」超入門 ～AI編～ 第2回

Azure Logic Appsから「Computer Vision API」を使う

AIで「alt属性」文章を自動生成しよう！もちろんノンコーディングで

3-1. Azure Logic Appsを新規作成する

Logic Appsの新規作成

　Azureの管理ポータル の左メニュー項目「＋リソースの作成」→「Web」をクリックすると、項目にAzure Logic Appsが表示されます。表示された「ロジックアプリの作成」に、次の1～4の情報を入力し、作成します。

1. 名前：作成するLogic Appsの名前を入れます（日本語の使用不可）。
2. サブスクリプション：サブスクリプションが複数ある場合にのみ表示されるメニューです。複数ある場合、利用するサブスクリプション名を選択します。
3. リソースグループ：今回は「既存のものを使用」を選択し、「Computer Vision APIの新規作成」で作成しているリソースグループ名を選択します。
4. 場所（リージョン）：「米国中西部リージョン」を選択します。

3-2. ワークフローを作成する

　ワークフローの全体図はこのような形です。

ワークフロー全体図

　「特定の文字列（ハッシュタグ）が入り、かつ画像添付があるツイート」のみを処理するワークフローになっており、ツイートした画像をDropboxに格納、ツイートした画像を解析・翻訳、解析・翻訳の結果をGoogleスプレッドシートに出力します。

3-3. Azure Logic Appsのトリガーの作成

トリガーの作成

　Logic Appsのトリガーには「新しいツイートが投稿されたら」を選択して、今回は「#logicapp2018asc」という文字列を検索し、該当の文字列が入ったツイートを見つけた場合、アクションに当たるコネクタを実行します。

　Twitterコネクタを利用する場合は承認が必要です。認証画面が表示されるので、アクティブになっているTwitterアカウントのID・パスワードを入力して承認が完了すると、図の画面に切り替わり設定ができるようになります。

トリガーの作成

　「間隔」はどれくらいの頻度でTwitterアカウントを確認するかを設定します。「秒」の単位で設定できるので、間隔を短くすればほぼリアルタイムに確認するシステムになります。ですが、該当の文字列が入ったツイートがあるたびに課金が発生しますので、多くのツイートがある「検索テキスト」を設定した場合、「間隔」の時間設定には注意してください。

3-4. Azure Logic Appsのアクションの作成

　該当の文字列が入り、画像付きのツイートだった場合に以下で設定するアクションが実行されます。

3-4-1.ツイートした画像をDropboxに格納

HTTPコネクタの設定

　「HTTPコネクタ」を利用し、ツイートに添付した画像を取り出せるようにします。「HTTPコネクタ」を選択後、方法は「GET」に、URIには動的コンテンツ内の「新しいツイートが投稿されたら」リストから「MediaUrls - 項目」を選択します。

　動的コンテンツを選択したタイミングで、For each「メディアURL」の設定が自動で入ります。

動的コンテンツの表示数を増やす

　動的コンテンツは、該当のコネクタ内で利用できるもの全てを表示していない場合があります。探している項目が無い場合、赤枠内の「もっと見る」をクリックすると表示されることがあるので確認してみてください。

Dropboxコネクタの設定

　アクションの追加で「Dropbox」と検索し「ファイルの作成」を選択します。Dropboxコネクタを利用する場合は承認が必要です。認証画面が表示されるので、ID・パスワードを入力して承認が完了すると、SMSにセキュリティコードが送られてきます。全て入力が完了すると図の画面に切り替わり設定ができるようになります。

　フォルダのパスは事前にDropbox側に作成しておいたフォルダを選択し、ファイル名は動的コンテンツの「作成日時」を選択したあと、手打ちで「.jpg」と入力します。ファイルコンテンツには、先ほど設定したHTTPコネクタの「本文」を選択します。

3-4-2. ツイートした画像を解析・翻訳

Computer Vision API（Analyze Image）コネクタの設定

　アクションの追加で「Computer Vision API」と検索し「Analyze Image」を選択します。

NameとKeyの設定

　上図のような表示になるので「2-2. Computer Vision APIの情報確認」で控えておいた情報を入力します。

• 接続名：「NAME」の情報を入力
• Account Key：「KEY 1」の情報を入力

Analyze Imageコネクタの設定

　接続できると上図のような表示に切り替わるので、「詳細オプションを表示しない」の表記になっている部分は「詳細オプションを表示する」にします。この部分をクリックすると「Language」項目が表示されるので「en」を選択します。

　Iamge URLは「MediaUrls - 項目」を選択します。このコネクタで画像の解析をし、キャプション文章を出力します。

キャプション文の翻訳

　Computer Vision API「Analyze Image」コネクタで出力されたキャプション文章は英語なので、Microsoft Translatorで日本語に翻訳しましょう。アクションの追加で「翻訳」と検索し「Microsoft Translator」コネクタを選択し、以下の内容を入力します。

• テキスト：Captions Caption Textを選択（Analyze Imageコネクタの動的コンテンツ）
• 対象言語：Japaneseを選択
• ソース言語：Englishを選択
• カテゴリ：空白は「統計的機械翻訳」、generalnnは「ニューラルネットワーク」を指定となります。generalnnと入力するのがお勧めです。

　動的コンテンツを選択したタイミングで、For each2「Captions」の設定が自動で入ります。

3-4-3. 結果をGoogleスプレッドシートに出力

Googleスプレッドシートコネクタ

　アクションの追加で「Google」と検索、結果からGoogleスプレッドシートコネクタを選択し「行の挿入」を選択します。このコネクタも利用時には承認が必要なので、Googleアカウントで承認してください。

ファイルの選択

　Googleスプレッドシートの承認が完了すると、上図のような表示に切り替わります。ファイルとワークシート（デフォルトはシート1）を選択します。

Googleスプレッドシートコネクタの設定

　ファイルの読み込みが問題なくできると、自動で上図のような表示に切り替わります。事前準備で作成したGoogleスプレッドシートの項目が表示されているので、出力したい動的コンテンツを選択していきます。

• ツイート日時：作成日時を選択（Twitterコネクタの動的コンテンツ）
• ツイート作成者：ツイート作成者を選択（Twitterコネクタの動的コンテンツ）
• ツイート内容：ツイートテキストを選択（Twitterコネクタの動的コンテンツ）
• Dropbox画像名：Nameを選択（Dropboxコネクタの動的コンテンツ）
• alt用テキスト（原文）：Captions Caption Textを選択（Analyze Imageコネクタの動的コンテンツ）
• alt用テキスト（翻訳）：翻訳されたテキストを選択（Microsoft Translatorコネクタの動的コンテンツ）

　正しく翻訳されているかを確認するため、Googleスプレッドシートには英語のキャプション文章と翻訳済み文章を出力するようにしました。