AIの出力を「信じる」ではなく「検証する」——検証設計の実務
「このAIの出力、信じていいですか」という質問を、私たちは毎月のように受けます。答えはいつも同じです。信じるかどうかを議論している時点で、検証の設計が抜けています。信頼とは検証の積み重ねの別名であって、祈りではありません。本記事では、AIの出力を業務で使うための検証設計を、私たちの実務手順に沿って整理します。
Photo: Unsplash「信じるか」という問いが間違っている
AIの出力を前にして「信じるか、疑うか」を人の感覚で判断している現場は、遅かれ早かれ事故を起こします。人の感覚は、もっともらしい文章に弱いからです。流暢さと正しさは無関係なのに、流暢だと正しく見えてしまう。この認知の穴は、注意力では塞げません。
私たちの立場は明確です。信頼とは、検証の積み重ねの別名です。検証を通った回数が増えるほど、その使い方への信頼が育つ。検証を設計せずに信頼だけを求めるのは、検査工程のない工場で品質を祈るのと同じです。
これは特許を取得した私たちのAIエージェント「Qi」の思想でもあります。AIにコードを作らせず、検証済みのツールを選ばせ、実行前にDSLの関所で検査する。生成物を信じる代わりに、検証済みの部品と検査の仕組みで信頼を構成する。この構図は、AI活用全般にそのまま応用できます。
検証は出力の後ではなく前に設計する
多くの現場は、AIの出力が出てから「さて、どう確かめよう」と考えます。順序が逆です。検証は出力の後ではなく、前に設計します。つまりAIに仕事を渡す前に、合格の条件、すなわち受入基準を書き切っておくのです。
受入基準とは、例えば「抽出した寸法値は元図面と全件一致すること」「出力形式はこの列構成のCSVであること」「判定不能な項目は空欄ではなく『不明』と明記すること」のような、機械的に照合できる条件のことです。曖昧さが残る基準は、検証の役に立ちません。
ここで重要な副産物があります。受入基準を先に書けない仕事は、AIにも渡せません。合格条件を言語化できないなら、その仕事は要件が固まっていないということです。AI活用の準備は、実はプロンプトの練習ではなく、この要件定義の訓練です。設計者が本来持っている能力が、そのまま武器になります。
流暢さと正しさは無関係。
信頼は祈りではなく検証で作る
検証手段は「失敗コスト×自動化可能性」で選ぶ
すべての出力に同じ重さの検証をかけるのは非現実的です。私たちは2軸で整理しています。縦軸に、間違いが通り抜けたときの失敗コスト。横軸に、検証を機械化できるかどうか。この4象限で、検証手段を使い分けます。
原則は、失敗コストの高い所ほど機械検査に寄せる、です。人の目視は疲れや慣れで精度が揺れます。図面に流れる寸法値のような、間違えると実害が出る出力は、照合プログラムで全件検査する。人の承認は、機械検査を通ったものへの最終判断に限定します。
機械化できず失敗コストも低い領域、例えば社内向け文書の下書きなどは、サンプリング確認で十分です。逆に、機械化できないのに失敗コストが高い仕事は、そもそもAIに任せる段階にないと判断します。この「任せない」という結論を出せることが、検証設計の価値の半分です。
実務の検証フローを固定する
検証は毎回考えるものではなく、フローとして固定するものです。私たちの標準は5段です。AIの出力を受けたら、まず形式検査。決められた構造になっているかを機械が見ます。次に内容の機械検証。受入基準との照合です。それを通ったものだけが人の承認に進み、承認されたものが実行され、全段の結果がログに残ります。
このフローの肝は、人の承認を最後の一段に限定していることです。人がすべてを見るフローは、量が増えた瞬間に破綻し、「見たことにする」形骸化が始まります。機械で落とせるものを先に落とし、人は判断が要るものだけを見る。承認の質は、承認の量を減らすことでしか守れません。
ログを最終段に置いているのには理由があります。何が検証を通り、何が弾かれたかの記録は、受入基準そのものを改善する材料になるからです。弾かれ方の傾向が見えると、基準の穴やAIへの指示の曖昧さが特定できます。検証フローは作って終わりではなく、ログで育てるものです。
CADの現場での適用例
私たちの本業であるCATIAの自働化では、この考え方をそのまま実装しています。AIには操作用のコードを書かせず、検証済みのマクロ群から選ばせる。選択結果は実行前にDSLで記述された関所を通り、対象や操作が許可範囲かを機械検査してから動く。異常があれば止まる、自働化の思想です。
もっと身近な例では、図面チェック結果の照合があります。AIに図面の記載事項を読み取らせた場合、その結果を正とは扱いません。マクロで取得したモデル側の値と突き合わせ、一致したものだけを「確認済み」にする。AIの読み取りは仮説であり、照合を通って初めて事実になります。
AIの能力は今後も上がり続けるでしょう。しかし能力の向上は、検証を不要にしません。検査工程を持たない工場が優秀な作業者だけで品質を保てないのと同じです。信じる仕組みではなく、確かめる仕組みを作る。それがAIを実務で使うということだと、私たちは考えています。
「AIに何をさせるか」の設計でつまずいたら、声をかけてください。私たちは自社の現場でAIエージェントを回しながら仕組みを作ってきました。その手順をそのままお渡しします。
記事一覧をすべて見る →