新清士の「メタバース・プレゼンス」 第146回

ローカル音楽生成AIの新定番？ ACE-Step 1.5はSuno連携で化ける

ComfyUIでのACE-Step 1.5の操作画面

　ローカルPCでも使える音楽生成AI環境に強力なものが登場してきました。中国ACE StudioとStepFunが共同で開発した「ACE-Step 1.5」です。VRAMが4GBの環境であっても動作する軽量さが売りで、3分の曲が数十秒で生成されます。2700万曲の訓練データは、合法ライセンスとロイヤリティフリー音源を使っており、また、商用利用等が可能なMITライセンスでもあるため使いやすいモデルです。

^{※記事配信先の設定によっては図版や動画等が正しく表示されないことがあります。その場合はASCII.jpをご覧ください}

無料AIとしては贅沢な環境

　Ace Studioは音声合成ソフトのクラウドサービス「Ace Studio」を展開している企業で、中国を中心に100万人以上のユーザーを抱えています。140以上のAIボイスモデルを展開しており、その音声はアーティストと契約し、使用量に応じてロイヤリティを支払う形式です。Ace Stepの公開は、作曲部分のデモンストレーションとコミュニティ育成を目指して公開していると考えられます。

　Ace-Stepの利用環境は、ローカル用生成AI環境の「ComfyUI」で使うことができます。公式で公開されているワークフローを導入して、必要なファイルをダウンロードするだけ。モデルサイズは9.33GBです。

　操作は非常にシンプルです。曲の長さを指定するSong DurationのValueが秒数となり、Clipの上段に曲調のプロンプトを入力し、下段には歌詞を入力します。50言語に対応しているため、言語にja（Japanese）を選択すると日本語的な発音の音で歌ってくれます。ただし、漢字の読み間違いが割と頻発するため、ローマ字表記した方が、正しく読み上げてくれる確率が上がる印象です。

　曲の速度を決めるBPMや曲調を決めるキーも指定できるのですが、やはりランダム生成のためか、必ずしも守ってくれません。ポップスであれば110～130ぐらい、テクノであれば128以上ぐらい、C Major（明るい曲）か A minor（切ない曲）ぐらいに大雑把な理解で、あとは生成物を見て判定することになります。

△公式のテンプレートを使って生成してみたテクノ曲「ガラスの街」。プロンプトは日本語でも認識するが英語の方が効きがよい印象。曲のプロンプトや歌詞はChatGPTと検討して作成している

△同じ歌詞でボサノバ調として生成してみた曲

　また、曲を作るだけでなく、音楽サービスのSunoのようなある曲をベースにアレンジをしたり、その曲からインスピレーションを得て別の曲にしていくといったこともできます。専用のCover用のワークフローを使うと、曲調を残しつつ別の雰囲気の曲に切り替えていくことが可能です。「基本スケジューラ―」ノードの中にある「ノイズ除去」を変更することで、どれぐらいの変化を生じさせるのかを指定することができます。例では、テクノとして作曲した曲を、ボサノバ調のプロンプトを入力し、ノイズ除去を0.9として指定しています。1に近いほど、違った曲が出てくる確率が上がります。

△テクノ曲をボサノバのプロンプトでカバーしてみた曲。元のメロディーを残したまま、曲を変換することができる　

　これ以外にも、部分的な修正や、読み込んだ曲の雰囲気からインスピレーションを受けたり、複数の曲の雰囲気を取り込んでみたりといったワークフローが用意されています。また、LoRAの学習ができる機能も搭載しています。無料で使える音楽AIモデルとしては、かなり贅沢な環境が揃っています。