AI・エージェント

ハルシネーションは消せない。実行の手前で止めるしかない

2026.08.18 / 読了目安 8分 / 執筆: Qronix 開発チーム

#AI実行制御#AIエージェント#設計思想#開発の作法

「ハルシネーションが心配で、AIに任せられない」。この相談を受けたとき、私たちは「なくせません」と答えます。精度を上げれば減りますが、ゼロにはなりません。なくす方向で対策を積むと、いつまでも導入できないか、どこかで妥協して事故を起こすかのどちらかになります。取るべきは別の方向で、間違った出力が出ても被害が出ない形にすることです。この記事では、その具体的な作り方を書きます。

チェックリストPhoto: Unsplash
CONTENTS
1. なくせないものを、なくそうとしない 2. 止める場所は、出力の直後ではなく実行の手前 3. 「何もしない」を、正しい動作として設計する 4. 実際のコードで、どこに置くか 5. それでも通ってしまう間違いに、どう備えるか 6. 手元の道具で、今日から確かめられること

なくせないものを、なくそうとしない

生成AIは、次に来る言葉の確からしさを計算して文章を組み立てています。組み立てた結果が事実かどうかを、仕組みとして確かめてはいません。もっともらしいが違うものが出るのは、故障ではなく仕様です。

モデルを新しくすれば減ります。プロンプトを工夫すれば減ります。参照する資料を渡せば減ります。どれも効きますが、いずれも「減る」であって「出なくなる」ではありません。

ここを取り違えると、対策が終わらなくなります。9割正しくなったら次は9割5分、その次は9割9分。設計現場で必要な確からしさに、この方向からは届きません。

ですから、前提を変えます。間違った出力は出るものとして、その先で止める。なお、その誤りがそもそもどこで生まれるのかは、AIの暴走を止めるには、まず「三遊間」を見つけるで整理しています。どのルールにも当てはまらない状況に落ちた瞬間に、AIは推測で空白を埋め始めます。

止める場所は、出力の直後ではなく実行の手前

「AIの出力を検査する」という対策をよく見ます。出てきた文章やコードを、別のAIや人が確かめる形です。これは半分正しく、半分足りません。

足りないのは、検査する側も間違えるからです。検査で弾けなかったものは、そのまま通ります。検査を二重にしても、確率が下がるだけで性質は変わりません。

効くのは、実行の手前に、AIの出力とは関係のない判定を置くことです。CADで言えば「いまアクティブなのはCATPartか」「読み取り専用でないか」「対象のボディは何個あるか」。これらはAIが何を言ったかに関係なく、その場の状態を見れば決まります。

AIの言い分と、実際の状態。この二つを突き合わせて、食い違っていたら実行しません。AIが自信満々に間違えていても、状態のほうは嘘をつきません。

条件に合わないときの二つの設計代わりの処理を実行する100の被害動いているので発覚が遅れる理由を出して止まる5の被害その場で頼み直せる
図1: 代わりに動くほうが親切に見えますが、設計データでは気づくのが遅れるぶん被害が大きくなります。

「何もしない」を、正しい動作として設計する

プログラムを書く人ほど、条件に合わないときに何か代わりのことをさせたくなります。近い要素を探す、既定値で進める、警告を出して続行する。どれも親切な設計に見えます。

設計データを扱う場面では、この親切が事故になります。代わりに動いた結果は、頼んだ本人が想定していないものです。しかも動いているので、気づくのが遅れます。

ですから、条件に合わないときは何もしません。理由を出して止まります。これを例外処理ではなく、正しい動作の一つとして最初から設計に入れておきます。

止まる回数が多いなら、それは条件の書き方か、頼み方のどちらかを直す合図です。止まること自体は失敗ではありません。

AIが自信満々に間違えていても、
状態のほうは嘘をつきません。

VB参考実装例①:実行の手前で、CATIA側の状態を見て弾く(CATIA VBA)
' AI の出力は一切見ない。見るのは CATIA 側の「いまの状態」だけ。
'   ここに AI の言い分を混ぜると、判定そのものが汚染される。
Option Explicit

Private Const LOG_PATH As String = "\\server\share\qi_log\denied.csv"

' --- AI からも、ボタンからも、ここだけを通る ---
Public Sub Entry(ByVal toolId As String)
    Dim reason As String

    If Not StateIsOk(reason) Then
        WriteDenied toolId, reason
        MsgBox "実行しませんでした。" & vbCrLf & reason, vbInformation
        Exit Sub
    End If

    ' 前提が満たされた状態でだけ本体を呼ぶ。本体には手を入れない。
    Select Case toolId
        Case "drawing-view-batch": DrawingViewBatch
        Case "body-naming-check":  BodyNamingCheck
        Case Else
            ' 近そうなものを代わりに動かさない
            WriteDenied toolId, "該当する道具がありません"
            MsgBox "該当する道具がありません: " & toolId, vbInformation
    End Select
End Sub

' --- 禁止条件を並べる。合わなければ False ---
Private Function StateIsOk(ByRef reason As String) As Boolean
    StateIsOk = False

    If CATIA.Documents.Count = 0 Then
        reason = "ファイルが開かれていません。"
        Exit Function
    End If

    If TypeName(CATIA.ActiveDocument) <> "PartDocument" Then
        reason = "CATPart を開いてください(いまは " & TypeName(CATIA.ActiveDocument) & ")。"
        Exit Function
    End If

    If CATIA.ActiveDocument.ReadOnly Then
        reason = "読み取り専用のため変更できません。"
        Exit Function
    End If

    If CATIA.ActiveDocument.Part.Bodies.Count = 0 Then
        reason = "ボディがありません。"
        Exit Function
    End If

    StateIsOk = True
End Function

' --- 止めた理由を残す。条件が厳しすぎるのか、頼み方が違うのかの判断材料 ---
Private Sub WriteDenied(ByVal toolId As String, ByVal reason As String)
    On Error Resume Next
    Dim fso As Object, ts As Object
    Set fso = CreateObject("Scripting.FileSystemObject")
    Set ts = fso.OpenTextFile(LOG_PATH, 8, True)
    ts.WriteLine Format(Now, "yyyy-mm-dd hh:nn:ss") & "," & toolId & "," & reason
    ts.Close
    On Error GoTo 0
End Sub

実際のコードで、どこに置くか

実装上は、AIから呼ばれる入口を1か所に絞り、そこに判定を集めます。マクロの本体には手を入れません。本体は、前提が満たされた状態でだけ呼ばれるものとして書きます。

判定に使う情報は、CATIA側の状態から取ります。開いているドキュメントの種類、読み取り専用かどうか、ボディの数、単位系。AIの出力からは取りません。ここを混ぜると、判定そのものが汚染されます。

止めたときは、何の条件で止めたかを記録します。あとで見返したときに、条件が厳しすぎるのか、そもそも頼み方が間違っていたのかが分かります。

以下は、その入口の最小形です。CATIAマクロを呼ぶ直前に、状態を見て弾いています。

止める仕組みと、戻せる仕組み85%実行の手前の判定で弾ける間違いの割合(設計上の想定)残りは出力の突き合わせと、元に戻せる保存の仕方で受けます。
図2: 実行の手前で弾ける間違いは大半ですが、状態としては正常なものは通ります。そこは戻せるようにして備えます。
VB参考実装例②:変更前と変更後を並べて返し、戻せるようにする
' 状態としては正常なのに、意図した対象ではなかった——という間違いは弾けない。
'   そこは「何をどう変えたか」を返し、元に戻せる保存の仕方で受ける。
Option Explicit

Public Sub RenameBodies(ByVal prefix As String)
    Dim doc As Object
    Set doc = CATIA.ActiveDocument

    ' (1) 先に退避する。上書きしない。
    Dim backup As String
    backup = Replace(doc.FullName, ".CATPart", "_before_" & Format(Now, "yyyymmdd_hhnnss") & ".CATPart")
    doc.SaveAs backup

    Dim part As Object
    Set part = doc.Part

    ' (2) 変更前と変更後を並べて残す
    Dim report As String
    report = "変更前" & vbTab & "変更後" & vbCrLf

    Dim i As Long, before As String, after As String
    For i = 1 To part.Bodies.Count
        before = part.Bodies.Item(i).Name
        If Left(before, Len(prefix)) <> prefix Then
            after = prefix & "_" & Format(i, "000")
            part.Bodies.Item(i).Name = after
            report = report & before & vbTab & after & vbCrLf
        End If
    Next

    part.Update

    ' (3) 人が見て、想定と違えば退避したファイルへ戻せる
    MsgBox report & vbCrLf & "戻す場合はこちら:" & vbCrLf & backup, vbInformation
End Sub

それでも通ってしまう間違いに、どう備えるか

実行の手前で状態を見ても、通ってしまう間違いはあります。たとえば、対象のボディは確かに1つあるけれど、それが頼んだ人の意図した部品ではなかった場合。状態としては正常なので、弾けません。

ここに対しては、出力の側で備えます。実行した結果、何をどう変えたかを必ず返す。変更前と変更後の値を並べる。人はその一覧を見て、想定と違えば戻します。

戻せるようにしておくことも、同じくらい大事です。上書きせずに別名で保存する、変更前の状態を退避しておく。戻す手段があると、多少の間違いは事故になりません。

AIを使うかどうかに関係なく、これは自働化全般に言えることです。止める仕組みと、戻せる仕組み。この二つが揃っていれば、道具は現場に置けます。

AIの依頼がCATIAに届くまでの関門AIから実行の依頼入口1か所で受けるCATIAの状態を見る文書種類・ボディ数AIの言い分と状態が一致する?実行せず理由を出して止まる止めた条件を記録する変更前の状態を退避別名で保存マクロ本体を実行変更前後の値を並べて返す人が見て想定どおり?退避した状態に戻す終了食い違う一致違う想定どおり
図3: 状態と食い違えば実行せず記録し、通った後も変更前後を返して、想定と違えば戻す。
既存のマクロを、実行制御のある形に直す順番入口を1か所にするAIからも人からも同じ入口状態の判定を足す5〜10行わざと外して試す止まって理由が出れば合格止めた理由を記録する条件を直す材料になる
図4: 本体には手を入れません。入口を足して、弾いて、記録する。ここまでで十分に効きます。

手元の道具で、今日から確かめられること

いまお使いのCATIAマクロを1本開いて、先頭を見てください。いきなり処理が始まっていませんか。もしそうなら、その道具はAIに繋ぐ以前に、人が誤って押したときにも止まりません。

先頭に、実行してよい状態かどうかの判定を足すだけで、状況はかなり変わります。5行から10行程度の話です。足したあとで、わざと条件を外した状態で走らせてみてください。止まって理由が出れば、それで合格です。

この形が揃っている道具は、そのままAIエージェントから呼べます。逆に、揃っていない道具にAIを繋ぐのは順番が違います。

自社の道具がその状態になっているか、どこから手を付けるべきかを整理したい方は声をかけてください。既存のマクロを見せていただいたうえで、実行制御の入れ方をまとめた自働化設計書を無料でお出ししています。AIエージェントの構築についても、この順番からご相談いただけます。

Qronix 開発チーム

CATIA歴22年超・愛知県の大手自動車メーカー及びグループ各社でCATIAツール開発の技術責任者を務めたメンバーを中心とする、CAD自働化のスペシャリスト集団。2024年創業、特許第7907964号を保有。

「うちの資産でもできる?」
まずその質問からどうぞ。

できる・できないの判定と自働化設計書のご提案までは無料です。

contact@qronix.jp へ相談する
記事一覧をすべて見る →
← 記事一覧へトップページへ →