AI・エージェント

アクセルの前にブレーキを作る——AIエージェント事故から学ぶ設計順序

2026.05.12 / 読了目安 8分 / 執筆: Qronix 開発チーム

#AIエージェント#AI実行制御

この春から、AIエージェントの事故事例が業界内で共有され始めました。データを消した、誤発注した、権限を越えた。事例は違っても構造は同じです。ブレーキを作る前にアクセルを踏ませた。私たちが「AIに作らせない」方式で最初にブレーキから設計した理由を、事故の構造から説明します。

工場の金属加工Photo: Unsplash
CONTENTS
1. 共有され始めた「AIエージェント事故」 2. アクセルから作ると何が起きるか 3. ブレーキとは「実行前検査」のこと 4. 「自働化」の思想はAIにこそ効く 5. 明日から使えるブレーキ設計チェックリスト

共有され始めた「AIエージェント事故」

2026年に入ってから、AIエージェントの事故事例が企業間で共有されるようになってきました。本番データベースを消した、テスト環境のつもりが本番に発注をかけた、参照権限しか与えていないはずが設定変更まで実行した。件数が増えたというより、隠されていたものが表に出始めた、というのが実感です。

事例を並べると共通点が見えます。AIの判断能力が低かったから事故が起きたのではありません。AIが間違えたときに止める仕組みがなかったから、間違いがそのまま実行されたのです。人間の組織なら承認や検認で止まるはずの操作が、素通りしていました。どの場面で止め損ねるのかを先に知っておきたい方は、AIの暴走を止める——ルールの空白地帯という見方もあわせてお読みください。

つまりこれはAIの性能問題ではなく、システム設計の問題です。そして設計の問題である以上、製造業が100年かけて積み上げてきた安全設計の知見がそのまま使えます。

事故に至る共通の連鎖1曖昧な指示自由文プロンプトで依頼2AIが解釈・生成未検証の操作列が生まれる3検査なしで実行止める仕組みが存在しない4事故が顕在化発覚は実行後、原因追跡も困難
共有された事例に共通する構造。止める関所がどこにもない

アクセルから作ると何が起きるか

AI導入プロジェクトの多くは「何ができるか」から始まります。デモは派手な方がいい、任せられる範囲は広い方がいい。こうしてアクセル、つまり実行能力から先に作り込まれます。ブレーキ、つまり実行を止める仕組みは「あとで足せばいい」と後回しにされます。

ところが後付けのブレーキは効きません。実行経路が先に固まってしまうと、検査を挟む場所がなくなるからです。あらゆる操作が自由文のプロンプト経由で流れる設計では、どこで何を検査すればいいのか定義すらできません。事故が起きてから「ガードレールを追加します」と言っても、貼れる場所がないのです。

自動車の開発で、ブレーキ性能が未検証の車を公道に出すことはあり得ません。ソフトウェアのエージェントだけが例外でいられる理由はどこにもない。私たちはそう考えています。

ブレーキは制約ではない。
アクセルを踏むための前提条件だ。

AI導入プロジェクトの投資配分(よくある例)機能・デモ開発アクセルばかり厚いプロンプト調整検査の代わりにお願い実行前検査の設計本来ここが最初停止・復旧手順ほぼ未着手が実態
実行能力に偏り、検査と停止の設計が薄い

ブレーキとは「実行前検査」のこと

ではブレーキとは具体的に何か。私たちの定義では、実行前検査です。AIが「これをやりたい」と出力した内容を、実行する前に機械的に検査し、通らないものは実行させない。事後の監視ではなく、事前の関所です。

検査を成立させるには前提があります。AIの出力が検査可能な形式であることです。自由文では検査できません。私たちのAIエージェントQiでは、AIにコードを書かせず、検証済みツールの選択とパラメータ指定だけをさせます。出力は構造化されたDSLになり、実行前に文法と権限と値域を機械検査できます。これが特許第7907964号の骨格である「AIに作らせない」方式です。

検査の中身を、CATIAで穴をあける操作を例に書きます。AIが返すのは「穴あけツールを、直径8mm、4か所で」という指定だけです。実行する前に、機械が3つを順に確かめます。1つ目は文法で、指定されたツール名が登録済みの一覧にあるか、引数の数と型が合っているか。2つ目は権限で、この利用者とこのエージェントに穴あけが許されているか、対象の部品が編集してよい状態か。3つ目は値域で、直径や個数が決められた範囲に収まっているか(範囲は部品や社内規定ごとに決めます)。どれか1つでも落ちれば、その指定は実行されずに差し戻されます。

実行前検査のほかに、止める場所はあと2つあります。実行中には、1回の依頼で呼べる回数や処理する件数に上限を設け、図面の出図やデータの削除のように外に影響が出る操作だけは人の承認を待ってから進めます。実行後には、何をどの値で実行したかをすべてログに残し、元に戻せる操作は戻せるようにしておきます。ただし、この2つは実行前検査の代わりにはなりません。上限は起きる事故の大きさを抑えるだけで、ログは起きた後に役立つものです。止める力が一番強いのは、実行の手前です。

この設計はCADの現場でも同じです。CATIAのマクロをAIに毎回生成させれば、生成のたびに未検証のコードが現場に流れます。検証済みのマクロ群から選ばせて、引数だけ検査して実行する。それだけで事故の質が変わります。生成ミスという無限のパターンが、選択ミスという有限のパターンに縮むからです。

実行前検査で止める流れAIエージェントへの依頼AIにコードを毎回生成させる?生成のたびに未検証のコードが流れる検証済みツールの選択とパラメータ指定だけさせる出力は構造化されたDSL文法・権限・値域の機械検査を通る?実行させない検証済みのマクロを実行する完了させるさせない通らない通る
図3: AIにはツールの選択とパラメータ指定だけをさせ、機械検査を通らない出力は実行させない流れ。

「自働化」の思想はAIにこそ効く

トヨタ生産方式の「自働化」は、異常があれば機械が自ら止まる、という思想です。にんべんの付いた自働化。100年前の織機に織り込まれたこの考え方は、AIエージェントの設計指針としてそのまま通用します。順調に動くことより、異常時に止まることを先に保証する。

止まる設計には副産物があります。信頼が積み上がることです。「このエージェントは変なことをしそうになったら止まる」と現場が知っていれば、任せられる範囲を安心して広げられます。逆に一度でも黙って暴走したエージェントは、二度と信頼されません。ブレーキは制約ではなく、アクセルを踏むための前提条件です。

事故事例の共有が始まった今は、むしろ好機だと思っています。他社の事故は無料の教材です。自社で血を流す前に、設計順序を直せるのですから。

明日から使えるブレーキ設計チェックリスト

最後に、AIエージェントを導入する前に確認すべき項目を挙げます。派手な機能の話は1つもありません。全部、止める話です。導入検討の会議でこのリストを配るだけで、議論の質が変わるはずです。

特に重要なのは「実行前に機械検査できる出力形式か」です。ここがNoなら、他の項目をいくら整えても検査は運用でカバーすることになり、いずれ破られます。形式の設計は後から変えるのが最も難しいので、最初に決めてください。

アクセルの前にブレーキを作る。設計の順序を変えるだけで、事故の大半は起きる前に消せます。順序の話だからこそ、今日から変えられます。

「AIに何をさせるか」の設計でつまずいたら、声をかけてください。私たちは自社の現場でAIエージェントを回しながら仕組みを作ってきました。その手順をそのままお渡しします。

ブレーキ設計チェックリスト✓AIの出力は実行前に機械検査できる形式か✓検査に落ちた出力は実行されずに止まるか✓エージェントの権限は操作単位で絞られているか✓全実行が後から追跡できるログに残るか✗人間が即座に止める手段が用意されているか✗暴走時の復旧手順を訓練したことがあるか
導入前にすべてYesにしたい項目。Noのまま走らせない
Qronix 開発チーム

CATIA歴22年超・愛知県の大手自動車メーカー及びグループ各社でCATIAツール開発の技術責任者を務めたメンバーを中心とする、CAD自働化のスペシャリスト集団。2024年創業、特許第7907964号を保有。

「うちの資産でもできる?」
まずその質問からどうぞ。

できる・できないの判定と自働化設計書のご提案までは無料です。

contact@qronix.jp へ相談する
記事一覧をすべて見る →
← 記事一覧へトップページへ →