AI・エージェント

AIがマウスを握り始めた——Computer useとCAD操作の距離

2025.02.03 / 読了目安 7分 / 執筆: Qronix 開発チーム

#AIエージェント

2025年1月末、OpenAIがブラウザを自分で操作するAIエージェント「Operator」を公開した。画面を見て、クリックして、フォームを埋める。AIがマウスを握り始めたのだ。当然こう聞かれる。「CATIAも操作できるようになるのか」と。CADの自働化を作り続けてきた私たちが、Computer useとCAD操作の距離を冷静に測ってみたい。

作業中のPC画面Photo: Unsplash
CONTENTS
1. AIがブラウザを操作し始めた 2. 仕組みはスクリーンショットと座標クリック 3. ブラウザ操作とCAD操作は似て非なるもの 4. CADにはAPIという正面玄関がある 5. 画面を触らせる前に、関所を作る

AIがブラウザを操作し始めた

Operatorの公開は象徴的な出来事だった。2024年10月にAnthropicがComputer useを研究プレビューとして出し、今回OpenAIが一般ユーザー向けに製品化した。AIがスクリーンショットを見て、人間と同じようにマウスとキーボードで画面を操作する。予約サイトで席を取り、ECサイトで買い物をするデモが流れ、SNSは「もう事務作業は全部AIだ」という空気になっている。

私たちのところにも問い合わせが来た。「あれでCATIAを動かせないのか」。気持ちはよく分かる。CADの操作は定型作業の塊で、クリックの回数も多い。画面を操作できるAIがいるなら、任せたくなるのが自然だ。実際、海外ではCADと画面操作AIを組み合わせる実験の報告も出始めている。

結論を先に言う。今のComputer useをCADに直結させるのは筋が悪い。ただしそれは技術が未熟だからという理由だけではない。そもそもCADには、画面を触るよりずっと確実な入口が昔からあるからだ。その入口の存在を踏まえて、順番に説明する。

画面操作AIの流れ2024年10月Anthropicが「Computer use」を研究プレ…2025年1月OpenAIが「Operator」を一般向けに公開2025年2月各社追随の気配。「CADも動かせるか」の問い合わせが増える
研究プレビューから製品化まで、わずか3か月

仕組みはスクリーンショットと座標クリック

Computer useの中身は意外と素朴だ。AIは画面のスクリーンショットを受け取り、次に押すべき場所を座標で指示する。クリックして、また画面を撮って、結果を確認して、次の操作を決める。人間が画面を見ながら操作するループを、そのまま機械に置き換えた構造になっている。

この方式の強みは汎用性だ。APIが公開されていないWebサイトでも、画面さえあれば操作できる。逆に弱点は精度と速度になる。1操作ごとに画像を解釈するので遅く、ボタンの位置を数ピクセル外せば別のコマンドが飛ぶ。OpenAI自身もOperatorを人間の監視付きで使う前提で出している。

ブラウザ操作のベンチマークでも、現時点の成功率は人間に遠く及ばない。定型フォームなら通るが、途中で想定外のダイアログが出ると簡単に崩れる。この「途中で崩れる」性質が、CADでは致命傷になる。誤操作の一手が、履歴付きの形状データにそのまま刻まれるからだ。

APIという玄関の鍵を持っているのに、
毎回窓から入る必要はない。

ブラウザ操作とCAD操作は似て非なるもの

ブラウザの誤操作は、たいてい取り返しがつく。ページを戻ればいい。だがCATIAで誤ったコマンドが形状に入ると、履歴の奥で静かに壊れる。3週間後の設変で発覚した頃には、誰も原因をたどれない。操作の可逆性がまるで違うのだ。気づいた時には、修正コストが桁で膨らんでいる。

画面の情報密度も違う。ブラウザはボタンとテキストの世界だが、CADの画面は3D形状と仕様ツリーとダイアログが重なり合う。同じ部品でも視点が変われば見た目が変わる。スクリーンショットの解釈という方式にとって、これほど不利な相手はない。解釈を誤る余地が桁違いに大きいのだ。

そして失敗のコストが違う。ECサイトで買い物を1回間違えても数千円で済むが、量産部品の形状ミスは型の改修費と日程に跳ね返る。成功率9割の操作AIは、ブラウザでは実用でも、製造業の設計データの前では使い物にならない。求められる水準が、業界によってまるで違うのだ。

ブラウザ操作とCAD操作の違いブラウザの誤操作 戻るボタンで復旧可逆・低コストCADの誤操作 履歴の奥で発覚不可逆・型改修に波及
同じ「画面操作」でも、失敗した時の重さがまるで違う

CADにはAPIという正面玄関がある

ここが今日いちばん言いたいことだ。AIに画面を触らせる前に、APIという正面玄関を使い切るべきだ。CATIAにはVBAをはじめとするオートメーションAPIが30年近く前から整備されていて、形状作成も図面出力も測定も、画面を経由せずに命令できる。

APIの世界では「押し間違い」が存在しない。PadやPocketは名前で呼び出し、寸法は数値で渡す。座標のずれで隣のコマンドが起動することはない。実行結果もオブジェクトとして返るから、成否の判定まで機械的にできる。画面を撮って推測するのとは確実性の桁が違う。

私たちが2年で500本以上のマクロを現場に入れてこられたのも、この正面玄関があったからだ。逆に言えば、APIで済む作業をComputer useにやらせるのは、玄関の鍵を持っているのに毎回窓から侵入するようなものだ。遅くて、危なくて、得るものがない。

画面を触らせるか、APIを呼ぶかスクリーンショット+座標クリック押し間違いが起きうる数ピクセル外せば別のコマンドが飛ぶ。1操作ごとに画像を解釈するので遅いオートメーションAPI(VBA等)押し間違いが存在しない名前で呼び出し、数値で渡す。実行結果がオブジェクトで返るので成否判定も機械的
図3: CADには30年近く前からオートメーションAPIという正面玄関がある。

画面を触らせる前に、関所を作る

ではComputer useに出番はないのか。あると思う。APIが存在しない社内の古いシステム、ライセンス管理のWeb画面、他部署の申請フォーム。CADの周辺には「画面しか入口がない」業務が残っていて、そこは画面操作AIの土俵だ。適材適所で線を引けばいい。

ただしどちらの入口を使うにせよ、実行前の検査は外せない。私たちはAIエージェントQiで「AIに作らせない」構造を取っている。AIはコードを書かず、検証済みツールを選ぶだけ。実行前にはDSLの関所が引数と対象を検査する。異常があれば止まる。自動化ではなく自働化だ。

AIがマウスを握る時代は確かに始まった。だが設計データを預けるかどうかは、デモの派手さではなく、失敗した時に止まる仕組みがあるかで決めるべきだ。距離はまだ遠い。その距離を正しく測れる会社だけが、安全に近づいていける。私たちはその測量を、これからも現場で続けていく。

AIエージェントをどう組み立てればいいか分からない——そこで止まっているなら、遠慮なく相談してください。何を任せて何を任せないかの線引きから、一緒に決めていけます。

どの入口で作業をAIに任せるか自動化したい作業があるAPIという入口がある?画面操作AIに任せる画面しか入口がないAPIで命令する名前で呼び・数値で渡す実行前に関所で引数と対象を検査異常がある?実行せずに止まる実行する作業完了あるないあるない
図4: APIがあればAPIで命令し、画面しか入口がない業務だけ画面操作AIへ。どちらも実行前に検査する。
Qronix 開発チーム

CATIA歴22年超・愛知県の大手自動車メーカー及びグループ各社でCATIAツール開発の技術責任者を務めたメンバーを中心とする、CAD自働化のスペシャリスト集団。2024年創業、特許第7907964号を保有。

「うちの資産でもできる?」
まずその質問からどうぞ。

できる・できないの判定と自働化設計書のご提案までは無料です。

contact@qronix.jp へ相談する
記事一覧をすべて見る →
← 記事一覧へトップページへ →