AI・エージェント

AIエージェントに「反省」をさせる——自己修正ループの設計と限界

2025.07.22 / 読了目安 7分 / 執筆: Qronix 開発チーム

#AIエージェント

エージェント型ブラウザや自律実行AIの話題が続く2025年夏。各社のデモに共通するのが「失敗したら自分で気づいて直す」自己修正ループだ。私たちもQiの開発でこのループを設計してきたが、結論から言えば、反省させれば賢くなるという単純な話ではない。効く場面と効かない場面を、実装者の視点で切り分ける。

パズルのピースPhoto: Unsplash
CONTENTS
1. 「反省するAI」がブームになっている 2. ループの構造を分解する 3. 反省で直るもの、直らないもの 4. 私たちの設計——反省させる前に、実行させない 5. ループを設計する人へのチェックリスト

「反省するAI」がブームになっている

2025年7月現在、自律型エージェントのデモが毎週のように流れてくる。ブラウザを自分で操作し、エラーに遭遇すると原因を推測してリトライする。この「実行→検証→反省→再試行」のループは、エージェント設計の定番パターンとして定着しつつある。業界の空気は明らかに自律実行へ傾いている。

仕組み自体は単純だ。AIの出力を何らかの検証器にかけ、失敗なら失敗内容をプロンプトに追記して再生成させる。人間がコードレビューの指摘を受けて書き直すのと同じ構図で、確かに1発目より2発目の方が正答率は上がる。ここまでは事実だ。デモ映えするのも、この分かりやすさゆえだ。

問題は、このループを「AIが賢くなる仕組み」だと誤解して設計することだ。私たちはCATIAのマクロ実行を扱うQiの開発で、このループの効果と限界を数え切れないほど見てきた。反省ループの価値は、AI側ではなく検証器側で決まる。これが本稿の結論である。

ループの構造を分解する

自己修正ループは4つの部品でできている。実行器(タスクをこなす)、検証器(結果を判定する)、差分整理(何がどう失敗したかを言語化する)、再試行制御(何回まで・どこからやり直すか)。世間の注目は実行器のAIモデルに集まるが、実務で品質を左右するのは残りの3つだ。

特に検証器が急所になる。検証器が「エラーが出た/出ない」しか見ていなければ、AIはエラーを黙らせる方向に修正する。例外を握りつぶして正常終了を装うコードは、その典型だ。テストに通ることと正しいことは別であり、検証器の解像度以上の品質は絶対に出ない。

差分整理も軽視されがちだ。「失敗しました、直してください」とだけ渡すのと、「入力Aに対して期待値Bのところ出力Cだった」と渡すのでは、修正の的中率がまるで違う。反省の質は、失敗情報の構造化の質で決まる。これは人間の振り返りと完全に同じだ。入力の質を上げずに、出力だけ良くはならない。

反省の質は、
失敗情報の構造化の質で決まる。

自己修正ループの4部品1実行器AIがタスクを実行2検証器結果を機械的に判定3差分整理失敗を構造化して言語化4再試行制御上限管理と人間への差し戻し
注目されるのは実行器だが、品質を決めるのは残り3つ

反省で直るもの、直らないもの

実装者として線を引くと、反省ループで直るのは形式の誤りだ。構文エラー、型の不一致、APIの呼び方の間違い、明示的な仕様違反。これらは検証器が機械的に検出でき、失敗情報も明確なので、2〜3周で収束することが多い。機械が検出できる誤りは、機械の反省で直る。

直らないのは、仕様の解釈違いと、検証器が見ていない品質だ。「この設変で本当に直すべき箇所はそこではない」という判断ミスは、何周反省させても直らない。AIは与えられた合格基準に向かって最適化するだけで、基準自体を疑うことはないからだ。基準の設計は、最後まで人間の仕事として残る。

もう一つ厄介なのが反省の空回りだ。同じ誤りを表現だけ変えて繰り返す、修正のたびに別の場所を壊す、といった挙動は珍しくない。だから再試行には必ず上限を設け、上限に達したら人間に差し戻す。無限に反省させる設計は、無限に電気代を燃やす設計である。

反省ループで収束する失敗の割合(体感値)60%約6割構文・型・API誤用など形式の誤りが中心
形式の誤りは直るが、仕様解釈の誤りは何周しても直らない

私たちの設計——反省させる前に、実行させない

Qiの設計はこのループとは順序が逆だ。AIにコードを作らせて失敗から学ばせるのではなく、そもそもAIにコードを作らせない。AIの仕事は検証済みツールの選択に限定し、実行前にDSLの関所が命令を検査する。失敗してから反省するのではなく、失敗しうる自由を最初から渡さない。

それでもループは使っている。使いどころはツール選択の妥当性確認だ。選択されたツールと引数が関所で弾かれた場合、その理由を添えて再選択させる。生成の反省は発散しやすいが、選択の反省は選択肢が有限なので必ず収束する。同じ反省ループでも、探索空間の広さで性質がまるで違う。

つまり私たちの答えはこうだ。反省ループは、出力空間が閉じた工程にだけ組み込む。開いた空間での反省は、デモでは感動的だが、図面や製品データが懸かった現場に置くには危うい。自働化の原則——異常があれば止まる——は、AIの時代でも変わらない。派手さは要らない。止まる勇気が要る。

自己修正ループの回し方と止め方実行器がタスクをこなす検証器が結果を判定する検証に合格した?結果を使う再試行の上限に達した?人間に差し戻す失敗を構造化する入力・期待値・出力失敗情報を添えて再生成させるループを抜けるはいいいえはいいいえ再試行
図3: 検証に通らなければ失敗を構造化して再試行し、上限に達したら人間に差し戻す。

ループを設計する人へのチェックリスト

これから自己修正ループを組む人のために、私たちが実際に使っている設計チェックを共有する。検証器は出力の何%を検査できているか。失敗情報は構造化されて次のプロンプトに渡っているか。再試行上限と差し戻し先は決まっているか。修正が別の箇所を壊していないかを回帰で見ているか。

そして最後の一つが最も重要だ。そのループ、人間が同じ失敗情報をもらったら直せるか。人間に直せない曖昧な失敗情報でAIだけが直せる道理はない。ループの設計とは、AIへの期待の設計ではなく、失敗情報の設計である。ループを疑う前に、渡している情報を疑うべきだ。

反省するAIは魅力的な物語だ。だが現場に必要なのは物語ではなく、止まるべきときに止まり、直せるものだけを直す退屈な仕組みだ。退屈な仕組みだけが、月曜の朝も動いている。私たちはこれからも、感動より再現性を選ぶ。それが製造業と付き合う者の礼儀だと思っている。

AIエージェントをどう組み立てればいいか分からない——そこで止まっているなら、遠慮なく相談してください。何を任せて何を任せないかの線引きから、一緒に決めていけます。

自己修正ループの設計チェック✓検証器の検査範囲を把握している✓失敗情報を構造化して渡している✓再試行上限と差し戻し先がある✓回帰テストで副作用を見ている✗「エラーが消えた=成功」と判定している✗無限リトライを許している
最後の1項目が最も重要
Qronix 開発チーム

CATIA歴22年超・愛知県の大手自動車メーカー及びグループ各社でCATIAツール開発の技術責任者を務めたメンバーを中心とする、CAD自働化のスペシャリスト集団。2024年創業、特許第7907964号を保有。

「うちの資産でもできる?」
まずその質問からどうぞ。

できる・できないの判定と自働化設計書のご提案までは無料です。

contact@qronix.jp へ相談する
記事一覧をすべて見る →
← 記事一覧へトップページへ →