AIエージェントに「反省」をさせる——自己修正ループの設計と限界
エージェント型ブラウザや自律実行AIの話題が続く2025年夏。各社のデモに共通するのが「失敗したら自分で気づいて直す」自己修正ループだ。私たちもQiの開発でこのループを設計してきたが、結論から言えば、反省させれば賢くなるという単純な話ではない。効く場面と効かない場面を、実装者の視点で切り分ける。
Photo: Unsplash「反省するAI」がブームになっている
2025年7月現在、自律型エージェントのデモが毎週のように流れてくる。ブラウザを自分で操作し、エラーに遭遇すると原因を推測してリトライする。この「実行→検証→反省→再試行」のループは、エージェント設計の定番パターンとして定着しつつある。業界の空気は明らかに自律実行へ傾いている。
仕組み自体は単純だ。AIの出力を何らかの検証器にかけ、失敗なら失敗内容をプロンプトに追記して再生成させる。人間がコードレビューの指摘を受けて書き直すのと同じ構図で、確かに1発目より2発目の方が正答率は上がる。ここまでは事実だ。デモ映えするのも、この分かりやすさゆえだ。
問題は、このループを「AIが賢くなる仕組み」だと誤解して設計することだ。私たちはCATIAのマクロ実行を扱うQiの開発で、このループの効果と限界を数え切れないほど見てきた。反省ループの価値は、AI側ではなく検証器側で決まる。これが本稿の結論である。
ループの構造を分解する
自己修正ループは4つの部品でできている。実行器(タスクをこなす)、検証器(結果を判定する)、差分整理(何がどう失敗したかを言語化する)、再試行制御(何回まで・どこからやり直すか)。世間の注目は実行器のAIモデルに集まるが、実務で品質を左右するのは残りの3つだ。
特に検証器が急所になる。検証器が「エラーが出た/出ない」しか見ていなければ、AIはエラーを黙らせる方向に修正する。例外を握りつぶして正常終了を装うコードは、その典型だ。テストに通ることと正しいことは別であり、検証器の解像度以上の品質は絶対に出ない。
差分整理も軽視されがちだ。「失敗しました、直してください」とだけ渡すのと、「入力Aに対して期待値Bのところ出力Cだった」と渡すのでは、修正の的中率がまるで違う。反省の質は、失敗情報の構造化の質で決まる。これは人間の振り返りと完全に同じだ。入力の質を上げずに、出力だけ良くはならない。
反省の質は、
失敗情報の構造化の質で決まる。
反省で直るもの、直らないもの
実装者として線を引くと、反省ループで直るのは形式の誤りだ。構文エラー、型の不一致、APIの呼び方の間違い、明示的な仕様違反。これらは検証器が機械的に検出でき、失敗情報も明確なので、2〜3周で収束することが多い。機械が検出できる誤りは、機械の反省で直る。
直らないのは、仕様の解釈違いと、検証器が見ていない品質だ。「この設変で本当に直すべき箇所はそこではない」という判断ミスは、何周反省させても直らない。AIは与えられた合格基準に向かって最適化するだけで、基準自体を疑うことはないからだ。基準の設計は、最後まで人間の仕事として残る。
もう一つ厄介なのが反省の空回りだ。同じ誤りを表現だけ変えて繰り返す、修正のたびに別の場所を壊す、といった挙動は珍しくない。だから再試行には必ず上限を設け、上限に達したら人間に差し戻す。無限に反省させる設計は、無限に電気代を燃やす設計である。
私たちの設計——反省させる前に、実行させない
Qiの設計はこのループとは順序が逆だ。AIにコードを作らせて失敗から学ばせるのではなく、そもそもAIにコードを作らせない。AIの仕事は検証済みツールの選択に限定し、実行前にDSLの関所が命令を検査する。失敗してから反省するのではなく、失敗しうる自由を最初から渡さない。
それでもループは使っている。使いどころはツール選択の妥当性確認だ。選択されたツールと引数が関所で弾かれた場合、その理由を添えて再選択させる。生成の反省は発散しやすいが、選択の反省は選択肢が有限なので必ず収束する。同じ反省ループでも、探索空間の広さで性質がまるで違う。
つまり私たちの答えはこうだ。反省ループは、出力空間が閉じた工程にだけ組み込む。開いた空間での反省は、デモでは感動的だが、図面や製品データが懸かった現場に置くには危うい。自働化の原則——異常があれば止まる——は、AIの時代でも変わらない。派手さは要らない。止まる勇気が要る。
ループを設計する人へのチェックリスト
これから自己修正ループを組む人のために、私たちが実際に使っている設計チェックを共有する。検証器は出力の何%を検査できているか。失敗情報は構造化されて次のプロンプトに渡っているか。再試行上限と差し戻し先は決まっているか。修正が別の箇所を壊していないかを回帰で見ているか。
そして最後の一つが最も重要だ。そのループ、人間が同じ失敗情報をもらったら直せるか。人間に直せない曖昧な失敗情報でAIだけが直せる道理はない。ループの設計とは、AIへの期待の設計ではなく、失敗情報の設計である。ループを疑う前に、渡している情報を疑うべきだ。
反省するAIは魅力的な物語だ。だが現場に必要なのは物語ではなく、止まるべきときに止まり、直せるものだけを直す退屈な仕組みだ。退屈な仕組みだけが、月曜の朝も動いている。私たちはこれからも、感動より再現性を選ぶ。それが製造業と付き合う者の礼儀だと思っている。
AIエージェントをどう組み立てればいいか分からない——そこで止まっているなら、遠慮なく相談してください。何を任せて何を任せないかの線引きから、一緒に決めていけます。