ローエンドPCでも画像生成AIが動き、ハイエンドPCでは動画生成が可能に
Latentは目立った例ですが、画像生成AIやLLMでは最近「いかにモデルを軽量化するか」という取り組みがたくさん出てきています。
たとえばStable Diffusionについても、どんな画像データを学習すると効果があるのかという研究が進んでいます。Stable Diffusionが学習に使用している60億枚に及ぶLAIONデータセットも、実はそれほど大量のデータは品質を出す上では必要ないのではないかとの考えが出てきているんですね。これまでは数億枚もの画像を使っていましたが、7000万枚でもデータをフォローしながら動かせば、十分生成可能なんじゃないか……というのが、米コーネル大学の博士過程の年生による「CommonCanvas」という研究です。
Stable Diffusionなどの学習データとして使用されているLAIONデータセットは著作権が争点になっていますが、権利的にオープンなのが明確化されているクリエイティブ・コモンズのデータだけであっても、7000万枚あれば、昨年末にリリースされたStable Diffusion 2と同等の性能が得られるというんですね。

Stable Diffusion 2(SD2-base)で生成している画像=左、3種のCommonCanvasの3種の学習済みデータで生成した画像=右。品質的には遜色ないどころか、むしろプロンプトに対して正確に生成されている。画像は論文より
研究のポイントは、学習データの質をいかに上げるかというところです。
LAIONのデータは、画像からテキストを取得する「CLIP」の作業がAIによって完了しています。画像と、それが何を示しているのかというテキストがペアになっているため、学習する上で都合のよいデータになっています。一方、クリエティブ・コモンズのデータはそうしたCLIP処理をあらかじめしておく必要があるのですが、その処理過程を見直し、より正確に画像が何を示しているのかを学習したデータを作成することで、少ない枚数であっても学習済みデータの品質が上がるという結果がわかってきたわけです。
また、CommonCanvasの学習済みデータは現在公開されておらず、広範な検証はされていません。しかし、既存のデータを見直すことで、より高精度な画像生成を可能にするアプローチは今後も引き続き開発されていくと考えられます。
実際に、OpenAIのDALL-E 3は、独自のCLIPプロセスを使用して性能を向上させるアプローチを既に採用していると言われています。

この連載の記事
-
第95回
AI
月3万円で使えるOpenAIの「Deep Research」 驚異的だが、情報格差が広がる不安も感じた -
第94回
トピックス
1000円あればOpenAIレベルのAIが作れる DeepSeekで注目の「蒸留」とは -
第93回
AI
DeepSeek R1、無料で使えるAIとしては最強クラス -
第92回
AI
動画生成AI、ついにアダルトの扉が開く -
第91回
AI
AIの書いた小説が普通に面白い ChatGPT「o1」驚きの文章力 -
第90回
トピックス
画像生成AIで年賀状 リアルな人物も簡単に -
第89回
AI
OpenAI「Sora」残念な離陸 中国勢が飛躍する動画生成AI -
第88回
AI
1枚の画像から、歩き回れる“世界”ができる 来年のAIは「ワールドモデル」がやばい -
第87回
AI
画像生成AIの進化が早すぎる 2024年に起きたことまとめ -
第86回
AI
イラストに強すぎる画像生成AIモデル SDXL系「NoobAI-XL」の衝撃 -
第85回
AI
誰でもVTuber時代へ フェイシャルAI技術、続々登場 - この連載の一覧へ