ハルシネーションは消せない。実行の手前で止めるしかない
「ハルシネーションが心配で、AIに任せられない」。この相談を受けたとき、私たちは「なくせません」と答えます。精度を上げれば減りますが、ゼロにはなりません。なくす方向で対策を積むと、いつまでも導入できないか、どこかで妥協して事故を起こすかのどちらかになります。取るべきは別の方向で、間違った出力が出ても被害が出ない形にすることです。この記事では、その具体的な作り方を書きます。
Photo: Unsplashなくせないものを、なくそうとしない
生成AIは、次に来る言葉の確からしさを計算して文章を組み立てています。組み立てた結果が事実かどうかを、仕組みとして確かめてはいません。もっともらしいが違うものが出るのは、故障ではなく仕様です。
モデルを新しくすれば減ります。プロンプトを工夫すれば減ります。参照する資料を渡せば減ります。どれも効きますが、いずれも「減る」であって「出なくなる」ではありません。
ここを取り違えると、対策が終わらなくなります。9割正しくなったら次は9割5分、その次は9割9分。設計現場で必要な確からしさに、この方向からは届きません。
ですから、前提を変えます。間違った出力は出るものとして、その先で止める。なお、その誤りがそもそもどこで生まれるのかは、AIの暴走を止めるには、まず「三遊間」を見つけるで整理しています。どのルールにも当てはまらない状況に落ちた瞬間に、AIは推測で空白を埋め始めます。
止める場所は、出力の直後ではなく実行の手前
「AIの出力を検査する」という対策をよく見ます。出てきた文章やコードを、別のAIや人が確かめる形です。これは半分正しく、半分足りません。
足りないのは、検査する側も間違えるからです。検査で弾けなかったものは、そのまま通ります。検査を二重にしても、確率が下がるだけで性質は変わりません。
効くのは、実行の手前に、AIの出力とは関係のない判定を置くことです。CADで言えば「いまアクティブなのはCATPartか」「読み取り専用でないか」「対象のボディは何個あるか」。これらはAIが何を言ったかに関係なく、その場の状態を見れば決まります。
AIの言い分と、実際の状態。この二つを突き合わせて、食い違っていたら実行しません。AIが自信満々に間違えていても、状態のほうは嘘をつきません。
「何もしない」を、正しい動作として設計する
プログラムを書く人ほど、条件に合わないときに何か代わりのことをさせたくなります。近い要素を探す、既定値で進める、警告を出して続行する。どれも親切な設計に見えます。
設計データを扱う場面では、この親切が事故になります。代わりに動いた結果は、頼んだ本人が想定していないものです。しかも動いているので、気づくのが遅れます。
ですから、条件に合わないときは何もしません。理由を出して止まります。これを例外処理ではなく、正しい動作の一つとして最初から設計に入れておきます。
止まる回数が多いなら、それは条件の書き方か、頼み方のどちらかを直す合図です。止まること自体は失敗ではありません。
AIが自信満々に間違えていても、
状態のほうは嘘をつきません。
' AI の出力は一切見ない。見るのは CATIA 側の「いまの状態」だけ。
' ここに AI の言い分を混ぜると、判定そのものが汚染される。
Option Explicit
Private Const LOG_PATH As String = "\\server\share\qi_log\denied.csv"
' --- AI からも、ボタンからも、ここだけを通る ---
Public Sub Entry(ByVal toolId As String)
Dim reason As String
If Not StateIsOk(reason) Then
WriteDenied toolId, reason
MsgBox "実行しませんでした。" & vbCrLf & reason, vbInformation
Exit Sub
End If
' 前提が満たされた状態でだけ本体を呼ぶ。本体には手を入れない。
Select Case toolId
Case "drawing-view-batch": DrawingViewBatch
Case "body-naming-check": BodyNamingCheck
Case Else
' 近そうなものを代わりに動かさない
WriteDenied toolId, "該当する道具がありません"
MsgBox "該当する道具がありません: " & toolId, vbInformation
End Select
End Sub
' --- 禁止条件を並べる。合わなければ False ---
Private Function StateIsOk(ByRef reason As String) As Boolean
StateIsOk = False
If CATIA.Documents.Count = 0 Then
reason = "ファイルが開かれていません。"
Exit Function
End If
If TypeName(CATIA.ActiveDocument) <> "PartDocument" Then
reason = "CATPart を開いてください(いまは " & TypeName(CATIA.ActiveDocument) & ")。"
Exit Function
End If
If CATIA.ActiveDocument.ReadOnly Then
reason = "読み取り専用のため変更できません。"
Exit Function
End If
If CATIA.ActiveDocument.Part.Bodies.Count = 0 Then
reason = "ボディがありません。"
Exit Function
End If
StateIsOk = True
End Function
' --- 止めた理由を残す。条件が厳しすぎるのか、頼み方が違うのかの判断材料 ---
Private Sub WriteDenied(ByVal toolId As String, ByVal reason As String)
On Error Resume Next
Dim fso As Object, ts As Object
Set fso = CreateObject("Scripting.FileSystemObject")
Set ts = fso.OpenTextFile(LOG_PATH, 8, True)
ts.WriteLine Format(Now, "yyyy-mm-dd hh:nn:ss") & "," & toolId & "," & reason
ts.Close
On Error GoTo 0
End Sub実際のコードで、どこに置くか
実装上は、AIから呼ばれる入口を1か所に絞り、そこに判定を集めます。マクロの本体には手を入れません。本体は、前提が満たされた状態でだけ呼ばれるものとして書きます。
判定に使う情報は、CATIA側の状態から取ります。開いているドキュメントの種類、読み取り専用かどうか、ボディの数、単位系。AIの出力からは取りません。ここを混ぜると、判定そのものが汚染されます。
止めたときは、何の条件で止めたかを記録します。あとで見返したときに、条件が厳しすぎるのか、そもそも頼み方が間違っていたのかが分かります。
以下は、その入口の最小形です。CATIAマクロを呼ぶ直前に、状態を見て弾いています。
' 状態としては正常なのに、意図した対象ではなかった——という間違いは弾けない。
' そこは「何をどう変えたか」を返し、元に戻せる保存の仕方で受ける。
Option Explicit
Public Sub RenameBodies(ByVal prefix As String)
Dim doc As Object
Set doc = CATIA.ActiveDocument
' (1) 先に退避する。上書きしない。
Dim backup As String
backup = Replace(doc.FullName, ".CATPart", "_before_" & Format(Now, "yyyymmdd_hhnnss") & ".CATPart")
doc.SaveAs backup
Dim part As Object
Set part = doc.Part
' (2) 変更前と変更後を並べて残す
Dim report As String
report = "変更前" & vbTab & "変更後" & vbCrLf
Dim i As Long, before As String, after As String
For i = 1 To part.Bodies.Count
before = part.Bodies.Item(i).Name
If Left(before, Len(prefix)) <> prefix Then
after = prefix & "_" & Format(i, "000")
part.Bodies.Item(i).Name = after
report = report & before & vbTab & after & vbCrLf
End If
Next
part.Update
' (3) 人が見て、想定と違えば退避したファイルへ戻せる
MsgBox report & vbCrLf & "戻す場合はこちら:" & vbCrLf & backup, vbInformation
End Subそれでも通ってしまう間違いに、どう備えるか
実行の手前で状態を見ても、通ってしまう間違いはあります。たとえば、対象のボディは確かに1つあるけれど、それが頼んだ人の意図した部品ではなかった場合。状態としては正常なので、弾けません。
ここに対しては、出力の側で備えます。実行した結果、何をどう変えたかを必ず返す。変更前と変更後の値を並べる。人はその一覧を見て、想定と違えば戻します。
戻せるようにしておくことも、同じくらい大事です。上書きせずに別名で保存する、変更前の状態を退避しておく。戻す手段があると、多少の間違いは事故になりません。
AIを使うかどうかに関係なく、これは自働化全般に言えることです。止める仕組みと、戻せる仕組み。この二つが揃っていれば、道具は現場に置けます。
手元の道具で、今日から確かめられること
いまお使いのCATIAマクロを1本開いて、先頭を見てください。いきなり処理が始まっていませんか。もしそうなら、その道具はAIに繋ぐ以前に、人が誤って押したときにも止まりません。
先頭に、実行してよい状態かどうかの判定を足すだけで、状況はかなり変わります。5行から10行程度の話です。足したあとで、わざと条件を外した状態で走らせてみてください。止まって理由が出れば、それで合格です。
この形が揃っている道具は、そのままAIエージェントから呼べます。逆に、揃っていない道具にAIを繋ぐのは順番が違います。
自社の道具がその状態になっているか、どこから手を付けるべきかを整理したい方は声をかけてください。既存のマクロを見せていただいたうえで、実行制御の入れ方をまとめた自働化設計書を無料でお出ししています。AIエージェントの構築についても、この順番からご相談いただけます。
記事一覧をすべて見る →