AI検図は「見落とし」をなくせるのか——実験して分かったこと
AI検図という言葉が流行しています。図面チェックの見落としを本当にゼロにできるのか。私たちは3か月かけて実験しました。結論は、得意な領域では人を明確に上回り、不得意な領域では話にならない、というものです。誇張も過小評価もなしに、その線引きを数字で書きます。
Photo: Unsplash検図の見落としは、なぜ起きるのか
まず前提を揃えます。検図で見落としが起きる原因は、担当者の注意力の欠如ではありません。チェック項目が多すぎることと、同じ図面を何度も見ることによる慣れです。人間の目は、繰り返し見た画像に対して差分を検出する感度が明確に落ちます。これは訓練でどうにかなる性質のものではありません。
現場のチェックリストは、部品種別によりますが数十項目から百項目を超えます。これを1枚ごとに全項目まじめに走らせるのは、実際には行われていません。時間が足りないからです。経験に基づいて重点箇所を絞る。この絞り込みが、絞られなかった項目の見落としを生みます。犯人は個人ではなく構造です。
つまり検図の課題は判断の質ではなく、網羅の量です。この整理をすると、AIの向き不向きが素直に見えてきます。量の問題はAIが得意で、質の問題は人が得意という古典的な分業が、そのまま当てはまる。逆に言えば、質の問題をAIに投げても解決しません。
私たちはこの仮説を立てたうえで、実際の図面を使った検証に入りました。対象は自動車部品の2D図面、約400枚です。以下、実験の設計と結果を順に書きます。数字はすべて実測値で、都合のいい部分だけを抜き出してはいません。うまくいかなかった部分も、そのまま数字で出します。
実験の設計と条件——400枚で比べた
比較対象は3つです。経験10年以上の設計者による従来検図、私たちが作ったAI検図の試作、そして両者の併用。同じ400枚を、意図的に埋め込んだ既知の不備48件を含む状態でチェックしてもらいました。不備の位置と内容は、検図する側には一切知らせていません。
不備の内訳は、形式的なもの(記号の欠落、公差の記入漏れ、表題欄の不整合、投影法の矛盾、部品表との不一致)が31件、設計判断に関わるもの(加工上の無理、組付け順序の不整合、機能要件との齟齬、公差の積み上がり)が17件です。この2群を最初から分けて設計したのが、この実験の肝でした。
AI側は、図面を画像として丸ごと読ませるのではなく、CADデータから構造化した情報を取り出したうえで判定させる構成にしました。画像認識に頼ると、線種の判別や文字のかすれ、スキャン品質で精度が大きく振れます。元データがあるのにわざわざ画像で見るのは、単純に筋が悪い。
評価指標は検出率と誤検出率の両方を取りました。検出率だけを見ると実態を見誤ります。誤検出が多ければ、その確認作業が新たに発生して、現場の負担はむしろ増加する。導入判断では、この2つを必ずセットで見るべきです。検出率だけが独り歩きしている事例紹介には、まず誤検出率を聞いてみることをおすすめします。
得意だった領域:形式チェックは圧勝
形式的な不備31件に対して、AIの検出率は31件中30件、96.8%でした。同じ図面に対する人の検図は31件中24件、77.4%。差は明確です。しかも人が見落とした7件のうち5件は、AIが検出したものと一致していました。人が苦手な項目をAIが補える構造になっている、ということです。
特に強かったのは、複数箇所の相互参照が必要な項目です。表題欄の材質記載と部品表の材質が食い違う、断面記号と断面図の対応が取れていない、といった離れた場所どうしの突き合わせ。人は視線移動と短期記憶が必要ですが、AIにとって図面上の距離という概念はありません。ここは構造的に有利です。
誤検出率も低く抑えられました。400枚に対して誤検出は22件。1枚あたり0.055件です。20枚に1件程度なら、確認の手間は実質的に無視できます。形式チェックはルールが明確なので、そもそもAIというより自動判定に近い領域だったとも言えます。判定に曖昧さがない項目は、機械のほうが確実です。
ここで得た実感は、形式チェックは今すぐ全面的にAIへ渡してよい、というものです。人がやる必然性が一切ありません。私たちが現場に納めている検図系ツールでも、まずこの層から置き換えています。現場の反応も、この範囲に限れば一貫して肯定的でした。作業が減るうえに精度も上がるので、反対する理由がありません。
AIには判定させず、材料を出させる。
判断は最後まで人の側に残す。
不得意だった領域:設計判断は完敗
問題は設計判断に関わる17件です。AIの検出率は17件中6件、35.3%。同じ図面に対する人の検図は17件中14件、82.4%。完敗です。しかも誤検出が400枚で140件を超え、1枚あたり0.35件。この水準では確認作業が現実的でなく、運用に乗せられません。
検出できなかった11件を分析すると、明確な共通点がありました。図面に書かれていない前提を知らないと判断できない不備です。この工場のこの設備では、この形状は加工できない。この部品は組付け時にこの順序でしか入らない。前工程の治具と干渉する。どれも図面のどこにも書かれていません。
人の設計者は、過去の失敗と現場での会話を通じてこの知識を持っています。AIに同じことをさせるには、暗黙知を明文化して与えるしかない。しかし明文化できるなら、それはもうルールなので形式チェックの領域に移ります。境界は結局そこにあり、この構造は当面変わらないと見ています。
誇張して「AI検図で見落としゼロ」と謳う事例を見かけますが、対象を形式チェックに限れば正しく、設計判断まで含めれば現状はまったく成り立ちません。この区別をせずに導入すると、検図を通ったから大丈夫という誤った安心が生まれます。これが一番危ない副作用です。
'********************************************************************
'* 画像ファイルとして出力
'* sPath :保存ファイルパス
'* (flgOverWrite) :上書きフラグ
'* 戻り値 :True=成功 / False=失敗
'********************************************************************
Public Function Export(ByVal sPath As String, _
Optional flgOverWrite As Variant = True) As Variant
Dim sExt As String
Dim lCapFmt As CatCaptureFormat
Export = False
'上書きフラグFalseの場合、既にファイルが存在すれば終了
If flgOverWrite = False Then
If m_oFSO.FileExists(sPath) Then
Export = True
Exit Function
End If
End If
Call PreProcessToCapture
'拡張子取得
sExt = GetExtension(sPath)
sExt = LCase(sExt)
'拡張子からファイル定数取得
Select Case sExt
Case ".cgm"
lCapFmt = catCaptureFormatCGM
Case ".emf"
lCapFmt = catCaptureFormatEMF
Case ".tif"
lCapFmt = catCaptureFormatTIFF
'lCapFmt = catCaptureFormatTIFFGreyScale
Case ".bmp"
lCapFmt = catCaptureFormatBMP
Case ".jpg"
lCapFmt = catCaptureFormatJPEG
End Select
'キャプチャを画像ファイルとして保存
Call CATIA.ActiveWindow.ActiveViewer.CaptureToFile(lCapFmt, sPath)
Call PostProcessToCapture
If m_oFSO.FileExists(sPath) = False Then Exit Function
'キャプチャ作成に成功したらメンバ変数を上書き
m_sPathImg = sPath
Export = True
End FunctionAI検図に渡す画像はこの関数で機械的に生成します。人が撮ると毎回アングルが変わり、比較になりません。
AIと人を併用したときに起きたこと
3つ目の条件、併用の結果が最も実務的でした。AIが形式チェックを先に済ませ、その結果を添えた状態で人が設計判断に集中する。48件中45件を検出、93.8%。単独のどちらの条件よりも高い数字です。残った3件はいずれも設計判断側で、人単独でも見落としていたものでした。
面白かったのは検図にかかった時間です。人単独では1枚あたり平均8.4分。併用では5.1分に短縮されました。形式チェックが済んでいる分、設計者は考える必要のある箇所だけに時間を使える。時間短縮以上に、集中の質が上がったという声が複数の参加者から出ました。
一方で、望ましくない傾向も観察されました。AIの指摘を鵜呑みにし、AIが指摘しなかった箇所は問題ないと見なしてしまう。いわゆる自動化バイアスです。これを防ぐため、検図結果には必ず「AIが判定していない項目」を明示するよう変更しました。何を見たかより、何を見ていないかを伝えるほうが重要です。
AI検図の精度を語るときは、検出率だけでなくカバー範囲の宣言と必ずセットにすべきだと考えています。100項目中40項目を99%の精度で見ています、という言い方でなければ、現場は正しく使えません。範囲を言わない精度の数字は、実務ではほとんど意味を持ちません。
検図AIを比べるときに、デモの前に聞いておく5つのこと
検図AIを名乗るサービスが増え、比較記事も目にするようになりました。選ぶ側が困るのは、どのサービスも検出率を前に出していて、並べても違いが見えないことです。私たちの実験から言えるのは、比べるべきは精度の数字そのものではなく、その数字が出た条件のほうだということです。デモを見る前に、次の5つを聞いておくと判断を誤りにくくなります。
1つ目は、何を読んで判定しているか。図面を画像やPDFとして読むのか、CADデータから寸法・注記・部品表を取り出して読むのか。前者は手元のPDF図面にそのまま使える代わりに、線のかすれやスキャンの質で結果が揺れます。CATIAなどの元データが社内にあるなら、後者のほうが安定します。2つ目は、どのチェック項目を見ていて、どれを見ていないか。自社のチェックリストを渡し、項目ごとに見る・見ないを答えてもらうのが一番早い確かめ方です。
3つ目は、誤検出が1枚あたりどれくらい出るか。検出率だけで選ぶと、確認の手間を増やす製品をつかみかねません。4つ目は、社内の設計基準や過去の不具合をどう読み込ませるか。加工設備や組付け順序のように図面に書かれていない前提は、渡し方が決まっていなければ拾えません。5つ目は、指摘の根拠が図面上のどこか示されるか。場所が出ないと、担当者はAIの指摘を確かめずに受け入れるか、全部を見直すかの二択になります。
試験導入(PoC)では、自社の図面に既知の不備を仕込み、形式チェックと設計判断に分けて数えることをおすすめします。ひとまとめの検出率では、どちらに強い製品なのかが分かりません。形式チェックの多くはCATIAのマクロでも組めるので、AIに任せる部分と決定論で済む部分の境目をこの段階で引いておくと、導入後の手戻りが減ります。
AI検図を導入するなら、どう始めるか
現実的な進め方を3段階で書きます。第1段階、既存のチェックリストを形式チェックと設計判断に仕分けする。ここは人手ですが、リストが整理されていれば1日で終わります。この仕分け自体が検図基準の棚卸しになり、それだけでも「実は誰もやっていなかった項目」が見つかって効きます。
第2段階、形式チェック側だけを自動化する。CADデータから構造化情報を取れる項目に限定すれば、実装はさほど難しくありません。私たちが現場に入れたケースでは、初版が2週間、現場での調整とルール微修正を含めて6週間で運用に乗りました。全項目を狙わないことが早期に立ち上げる鍵です。
第3段階、設計判断側は自動化せず、AIには「関連する過去の類似不備を提示する」役割だけを与える。判定させず、材料を出させる。判断はさせない、思い出させる。これが今の技術水準に合った使い方だと考えています。過去トラの検索性が上がるだけでも、現場の価値は相当に大きい。
AI検図で見落としをゼロにする、という言い方は今のところできません。しかし見落としの発生源を、量の問題から質の問題へ絞り込むことはできます。人が本来集中すべき領域だけに人を残せる。それだけでも図面チェックの現実は相当に変わります。私たちの実験が示したのは、その一点です。
なお私たちは、AI検図の前段でCATIAのマクロによる機械的チェック(寸法欠落・注記漏れ)を必ず通します。決定論で拾えるものは決定論で拾い、AIには判断が要る部分だけを任せる。この役割分担が精度を安定させます。
ここまで読んで「うちでもやってみたい」と思われたなら、まずは私たちの無料セミナーをのぞいてみてください。改善を金額で語る考え方を、実例を使って一緒に組み立てます。相談だけでも歓迎です。