新清士の「メタバース・プレゼンス」 第165回

社内WebサービスをAIで開発　完成後に直面した運用の壁

Claudeは仮説を信じすぎ、Codexは局所最適に陥りやすい

　まず、Fable 5には自分が立てた仮説を無条件で信じるという悪癖があります。Fable 5は、実装前にテストをして、仮説どおりに動作するかを実測する工程を飛ばしがちです。

　例えば、生成の高速化を検討していたのですが、Fable 5は、LM Studioを、3070Ti搭載PCから5090搭載PCに置き換えることを提案してきました。速度も速くVRAMにも余裕があるので全体の高速化が期待できるというのです。ところが、その案はすぐに破綻します。確かに最初は速いのですが、5090搭載PCが動画生成を始めると、GPUの計算は100％近くにまで達します。その上、5秒の動画でも2～3分の間は、計算に取られてしまうため、その間に同時にLM Studioがプロンプト生成を始めると、GPUの動作が極端に遅くなるのです。GPUは単機能で使うほうが効率的であり、複数の機能で使うとリスクがあることを判断できずに実装を始めてしまったのです。

　また、GPT-5.5は、粘り強くトラブルに対処してくれる能力があるのですが、一方で、広い視野が欠けがちです。

　突然、画像生成だけができないという現象が起きるようになりました。調べてみると、Codexが独自判断で、IPアドレスを固定して処理していました。社内のPCは、固定のIPアドレスを持っておらず、PCを再起動すると、社内LANのなかでIPアドレスが変わってしまうことがあります。そのため、PC名で検索して、接続を確立するという仕組みにしています。ところが、すぐに発見できない場合があるため、タイムアウトしてしまうケースが起きます。テストのときに、それが起きたので、Codexはその部分のコードを書き換えて、固定のIPアドレスで動作させるようにしていたのです。その改修によって、その場では動作しますが、4090搭載PCを再起動すると、動かなくなります。これを見つけるのにもかなり時間がかかりました。

Fable 5がミスの起きた経緯をログ化した部分。終了後に18箇所のエラーはログとして残している