アクセルの前にブレーキを作る——AIエージェント事故から学ぶ設計順序
この春から、AIエージェントの事故事例が業界内で共有され始めました。データを消した、誤発注した、権限を越えた。事例は違っても構造は同じです。ブレーキを作る前にアクセルを踏ませた。私たちが「AIに作らせない」方式で最初にブレーキから設計した理由を、事故の構造から説明します。
Photo: Unsplash共有され始めた「AIエージェント事故」
2026年に入ってから、AIエージェントの事故事例が企業間で共有されるようになってきました。本番データベースを消した、テスト環境のつもりが本番に発注をかけた、参照権限しか与えていないはずが設定変更まで実行した。件数が増えたというより、隠されていたものが表に出始めた、というのが実感です。
事例を並べると共通点が見えます。AIの判断能力が低かったから事故が起きたのではありません。AIが間違えたときに止める仕組みがなかったから、間違いがそのまま実行されたのです。人間の組織なら承認や検認で止まるはずの操作が、素通りしていました。どの場面で止め損ねるのかを先に知っておきたい方は、AIの暴走を止める——ルールの空白地帯という見方もあわせてお読みください。
つまりこれはAIの性能問題ではなく、システム設計の問題です。そして設計の問題である以上、製造業が100年かけて積み上げてきた安全設計の知見がそのまま使えます。
アクセルから作ると何が起きるか
AI導入プロジェクトの多くは「何ができるか」から始まります。デモは派手な方がいい、任せられる範囲は広い方がいい。こうしてアクセル、つまり実行能力から先に作り込まれます。ブレーキ、つまり実行を止める仕組みは「あとで足せばいい」と後回しにされます。
ところが後付けのブレーキは効きません。実行経路が先に固まってしまうと、検査を挟む場所がなくなるからです。あらゆる操作が自由文のプロンプト経由で流れる設計では、どこで何を検査すればいいのか定義すらできません。事故が起きてから「ガードレールを追加します」と言っても、貼れる場所がないのです。
自動車の開発で、ブレーキ性能が未検証の車を公道に出すことはあり得ません。ソフトウェアのエージェントだけが例外でいられる理由はどこにもない。私たちはそう考えています。
ブレーキは制約ではない。
アクセルを踏むための前提条件だ。
ブレーキとは「実行前検査」のこと
ではブレーキとは具体的に何か。私たちの定義では、実行前検査です。AIが「これをやりたい」と出力した内容を、実行する前に機械的に検査し、通らないものは実行させない。事後の監視ではなく、事前の関所です。
検査を成立させるには前提があります。AIの出力が検査可能な形式であることです。自由文では検査できません。私たちのAIエージェントQiでは、AIにコードを書かせず、検証済みツールの選択とパラメータ指定だけをさせます。出力は構造化されたDSLになり、実行前に文法と権限と値域を機械検査できます。これが特許第7907964号の骨格である「AIに作らせない」方式です。
検査の中身を、CATIAで穴をあける操作を例に書きます。AIが返すのは「穴あけツールを、直径8mm、4か所で」という指定だけです。実行する前に、機械が3つを順に確かめます。1つ目は文法で、指定されたツール名が登録済みの一覧にあるか、引数の数と型が合っているか。2つ目は権限で、この利用者とこのエージェントに穴あけが許されているか、対象の部品が編集してよい状態か。3つ目は値域で、直径や個数が決められた範囲に収まっているか(範囲は部品や社内規定ごとに決めます)。どれか1つでも落ちれば、その指定は実行されずに差し戻されます。
実行前検査のほかに、止める場所はあと2つあります。実行中には、1回の依頼で呼べる回数や処理する件数に上限を設け、図面の出図やデータの削除のように外に影響が出る操作だけは人の承認を待ってから進めます。実行後には、何をどの値で実行したかをすべてログに残し、元に戻せる操作は戻せるようにしておきます。ただし、この2つは実行前検査の代わりにはなりません。上限は起きる事故の大きさを抑えるだけで、ログは起きた後に役立つものです。止める力が一番強いのは、実行の手前です。
この設計はCADの現場でも同じです。CATIAのマクロをAIに毎回生成させれば、生成のたびに未検証のコードが現場に流れます。検証済みのマクロ群から選ばせて、引数だけ検査して実行する。それだけで事故の質が変わります。生成ミスという無限のパターンが、選択ミスという有限のパターンに縮むからです。
「自働化」の思想はAIにこそ効く
トヨタ生産方式の「自働化」は、異常があれば機械が自ら止まる、という思想です。にんべんの付いた自働化。100年前の織機に織り込まれたこの考え方は、AIエージェントの設計指針としてそのまま通用します。順調に動くことより、異常時に止まることを先に保証する。
止まる設計には副産物があります。信頼が積み上がることです。「このエージェントは変なことをしそうになったら止まる」と現場が知っていれば、任せられる範囲を安心して広げられます。逆に一度でも黙って暴走したエージェントは、二度と信頼されません。ブレーキは制約ではなく、アクセルを踏むための前提条件です。
事故事例の共有が始まった今は、むしろ好機だと思っています。他社の事故は無料の教材です。自社で血を流す前に、設計順序を直せるのですから。
明日から使えるブレーキ設計チェックリスト
最後に、AIエージェントを導入する前に確認すべき項目を挙げます。派手な機能の話は1つもありません。全部、止める話です。導入検討の会議でこのリストを配るだけで、議論の質が変わるはずです。
特に重要なのは「実行前に機械検査できる出力形式か」です。ここがNoなら、他の項目をいくら整えても検査は運用でカバーすることになり、いずれ破られます。形式の設計は後から変えるのが最も難しいので、最初に決めてください。
アクセルの前にブレーキを作る。設計の順序を変えるだけで、事故の大半は起きる前に消せます。順序の話だからこそ、今日から変えられます。
「AIに何をさせるか」の設計でつまずいたら、声をかけてください。私たちは自社の現場でAIエージェントを回しながら仕組みを作ってきました。その手順をそのままお渡しします。