AIの暴走は「三遊間」で起きる——ハルシネーションの正体と、止め方
「AIが嘘をつく」「勝手なことを始める」——ハルシネーションへの相談を毎週のように受けます。私たちの答えはシンプルです。AIの暴走は、ルールの空白地帯で起きる。野球でいえば三遊間。サードもショートも「自分の球ではない」と見送った瞬間、AIは推測で球を処理し始めます。ユーザー会で必ずお見せしているスライドを、今日はブログで解説します。
QRONIXユーザー会の実スライドより。「三遊間=ハルシネーション」は、参加企業の皆さんに最も刺さる1枚です。
ハルシネーションは「嘘」ではなく「埋め合わせ」
ハルシネーションという言葉は「AIが嘘をつく」と訳されがちですが、現場で観察していると実態は違います。AIは嘘をつこうとしているのではなく、与えられたルールのどれにも当てはまらない状況に直面したとき、空白を推測で埋めているのです。
人間なら「これはどっちの担当?」と聞き返す場面で、AIは聞き返さずに走り出します。学習の仕組み上、AIは「もっともらしい続き」を生成することが仕事だからです。空白があれば、もっともらしく埋める。それがハルシネーションの正体です。
つまり問題は、AIの賢さではありません。ルールの設計側に空白があることが問題なのです。ここを取り違えると「もっと賢いモデルに変えれば直る」という誤った期待につながります。モデルを替えても、三遊間は消えません。
三遊間——どの取り決めにも当てはまらない場所
野球で内野の間を抜けるヒットの代表が三遊間です。サードは「ショートが捕るだろう」、ショートは「サードの球だ」と考えた瞬間、誰の担当でもない空白地帯が生まれ、球は外野へ抜けていきます。
AIエージェントの運用でも全く同じことが起きます。指示Aと指示Bを丁寧に書いても、AとBのどちらにも該当しない状況(三遊間落ち)は必ず発生します。そのときAIは「推測の暴走」を始め、事実と異なる勝手な行動を取ります。
重要なのは、三遊間は「指示が下手な人」だけに起きるのではないという点です。どれだけ緻密に取り決めを書いても、現実の状況は取り決めの数より多い。空白地帯の発生は前提として設計する——これが私たちの出発点です。
人間の組織でも、同じ事故が起きている
このスライドがユーザー会で刺さる理由は、聞いている全員が「これはAIだけの話ではない」と気づくからです。部署Aと部署Bの間に落ちた仕事。「誰かがやっていると思っていた」案件。役割定義の死角は、人間の組織で毎日起きています。
人間の場合は経験と気配りで三遊間をカバーできますが、それは属人的な補完であって、仕組みではありません。担当者が異動すれば空白は再発します。AIの導入は、組織に元々あった役割定義の空白を可視化する——私たちはそう捉えています。
だからAIの暴走対策は、そのまま業務改善になります。「AIがうまく動かない場所」を調べると、たいてい人間同士でも揉めていた場所が出てきます。
AIは嘘をつくのではない。
三遊間に落ちた球を、勝手に処理してしまうだけだ。
対策①: 空白を減らす——役割と前提の明文化
第一の対策は、空白地帯そのものを減らすことです。AIエージェントへの依頼文には、やってほしいことだけでなく、前提条件・入出力・判断に迷ったときの優先順位を書きます。私たちが社内ツールに1本ずつタグ(できること・前提条件・入出力)を付けて資産化しているのは、まさにこの明文化です。
ここで役立つのが「新人に引き継ぐつもりで書く」という基準です。優秀な新人でも、暗黙の前提は知りません。「言わなくても分かるだろう」が三遊間を生みます。AIへの指示書は、新人への引き継ぎ書と同じ精度で書く価値があります。
ただし、明文化だけでは足りません。前述のとおり、現実の状況は取り決めの数より必ず多いからです。そこで第二の対策が必要になります。
対策②: 三遊間に落ちたら「止まる」設計
第二の対策は、空白に落ちたときに推測で走らず止まることです。私たちが特許第7907964号で実装した「関所」方式は、この思想の具体化です。AIにコードを作らせず、検証済みツールの選択だけをさせる。選択結果は実行前に検査し、定義された範囲の外に出る命令は構造的に実行されない。
三遊間に飛んだ球は、外野へ抜ける前に関所で止まる。止まった球は人間に渡される。「異常があれば止まる」——これは自動化ではなく自働化の考え方そのものです。ニンベンの付いた自働化は、AI時代にこそ効きます。
ChatGPTやClaudeのような対話型AIでも同じ原則が使えます。依頼文の最後に「判断に迷ったら、推測で進めずに質問してください」と一行足すだけで、三遊間落ちの挙動は目に見えて変わります。止まる許可を、明示的に与えるのです。止める場所をどこに置くかは実行の手前で止める設計に、作る順序はアクセルの前にブレーキを作る話に、それぞれ具体例を書いています。
起業時から現在まで——ルールは育てるもの
スライドの右下には、起業時から現在までのタイムラインが描かれています。込めた意味は「ルールの空白は一度に埋まらない」ということです。私たちも創業時から完璧な取り決めがあったわけではなく、三遊間に落ちた球を1つずつ拾い、そのたびにルールを1本ずつ増やしてきました。
AI活用も同じ道をたどります。最初から完全な指示書を書こうとして導入が止まるより、落ちた球を記録し、翌週のルールに変える運用を回すほうが速い。ハルシネーションは撲滅する対象ではなく、ルールを育てるためのシグナルです。
「AIが変なことをした」で終わらせず、「どの三遊間に落ちたのか」を特定する。この習慣が根づいた組織は、AIの導入が加速度的に上手くなっていきます。私たちがヒアリングと自働化設計書の提案を無料にしているのは、この最初の三遊間探しこそが一番価値のある工程だと知っているからです。
私たちがCATIAのマクロ資産に1本ずつタグを付けて管理しているのも、この空白地帯を減らすためです。ツールの「できること・前提条件・入出力」が書かれていれば、AIは三遊間に落ちる前に自分の担当範囲を判断できます。
AIエージェントをどう組み立てればいいか分からない——そこで止まっているなら、遠慮なく相談してください。何を任せて何を任せないかの線引きから、一緒に決めていけます。
記事一覧をすべて見る →