特許・Qi

画面の形をAIに教える——UI構造のタグを制約条件と一緒に渡すと、何が変わるか

2026.08.13 / 読了目安 8分 / 執筆: Qronix 開発チーム

#特許Qi#AI実行制御#CATIA#CATIAマクロ

AIにCADを操作させるとき、AIには画面が見えていません。どの入力欄が空いていて、どのボタンが押せる状態なのかを知らないまま、手順を組み立てようとします。特許第7907964号の請求項4は、この見えていない部分を補うための仕組みです。今日は、画面の構造をタグ情報としてAIに渡す理由と、その呼び名を出願前に言い換えた話を書きます。

ロボットハンドPhoto: Unsplash
CONTENTS
1. 請求項4が足しているのは「画面の形」 2. 社内では「UIAタグ」と呼んでいた 3. 画面の構造は、どう書くのか 4. タグを渡すと、モデルは推測しなくて済む 5. タグだけでは足りない。制約条件と組にする理由 6. いまあるCATIAマクロに、画面の形を書き足すところから

請求項4が足しているのは「画面の形」

請求項1は、実行単位を一つに固定し、大規模言語モデルには足りない入力値を補わせるだけ、という骨格を定めています。請求項4は、その骨格に一つの情報を足しています。実行単位に対応するユーザインタフェース構造を示すタグ情報を取得し、それを制約条件と一緒にモデルへ入力する、というものです。

言い換えると、固定した実行単位の画面に、どんな入力欄とボタンがあり、いまどういう状態なのかを、構造化したデータとしてモデルに見せる、ということです。

入力項目と制約条件だけでも、モデルは何を埋めればよいかは分かります。しかし、それを画面のどこでどう入れるのかまでは分かりません。CATIAのダイアログは、選択ボタンを押してから形状を指定し、入力欄が埋まるとOKが押せるようになる、というように、操作の順番と状態が結びついています。

この順番と状態を、推測ではなくデータとして渡すのが請求項4の役割です。

社内では「UIAタグ」と呼んでいた

開発の現場では、この情報をUIAタグと呼んでいました。Windowsが画面の部品を外から読み取るための仕組みの名前から取った、ごく内輪の呼び名です。

出願書類を詰めていく段階で、代理人から用語の整理について指摘がありました。UIAタグは一般的な術語ではないため、そのまま請求項に書くと、何を指すのかが明確でないとして問題になるおそれがある、というものです。特許の世界でいう明確性の要件です。

そこで、請求項ではUIAタグを「ユーザインタフェース構造を示すタグ情報」と言い換えました。同じとき、社内でカプセルと呼んでいた処理のまとまりも、請求項では「実行単位」に統一しています。明細書の側では、社内の呼び名を注釈付きで残してあります。

言い換えは、中身を変える作業ではありません。社内でしか通じない名前を、第三者が読んでも同じものを思い浮かべられる言葉に置き直す作業です。この作業をしてみると、自分たちが何を作ったのかを、特定の技術の名前に頼らずに説明できるかどうかが試されます。

JSON参考実装例①:実行単位のメタデータと、画面の構造のタグ情報を分けて持つ
{
  "unit": "穴軸を一括作成する",
  "meta": {
    "inputs": [
      { "name": "対象形状", "required": true }
    ],
    "constraints": [
      "対象形状が選択されていること",
      "入力値が空でないこと",
      "OKボタンが有効状態であること"
    ]
  },
  "ui": {
    "Control": [
      {
        "Name": "対象形状",
        "Type": "Group",
        "Children": [
          { "Name": "選択", "Type": "Button", "State": "Enabled" },
          { "Type": "Edit", "Value": "" }
        ]
      },
      { "Name": "OK", "Type": "Button", "State": "Disabled" }
    ]
  }
}

画面の構造は、どう書くのか

明細書では、タグ情報の例をJSONで示しています。対象形状を指定するグループの中に選択ボタンと入力欄があり、別にOKボタンがあって、それぞれに種類と状態が付いている、という形です。

ポイントは、画面の見た目ではなく、部品の親子関係と状態を書いていることです。ボタンの色や位置は書きません。モデルが知る必要があるのは、どの入力欄がどのグループに属していて、いま空いているのか、OKは押せる状態なのか、という点だけです。

下の参考実装例①は、明細書の例を土台に、穴軸を作る実行単位を想定して書き直したものです。入力項目と制約条件のメタデータと、画面の構造のタグ情報を、別々の塊として持たせています。

分けておく理由は、変わる速さが違うからです。制約条件は業務のルールなので、めったに変わりません。画面の構造は、CATIAのリリースが上がると変わることがあります。変わるものと変わらないものを混ぜると、片方の更新でもう片方を壊します。

制約条件は、何を入れてよいか。
画面の形は、どこにどう入れるか。

画面の形を渡すかどうかで、推測の範囲が変わるタグ情報なし一般知識で推測存在しないボタンを押す手順も作れてしまうタグ情報あり画面にある部品の範囲出力を構造と照らして点検できる
図1: 幅は推測に頼る範囲のイメージです。数値の測定結果ではありません。

タグを渡すと、モデルは推測しなくて済む

タグ情報が無い場合、モデルは「こういうダイアログなら、たぶん選択ボタンがあって、たぶんOKで確定する」と、学習した一般的な知識から推測します。多くの場合は当たりますが、当たらなかったときに、存在しないボタンを押す手順を平気で組み立てます。

タグ情報がある場合、モデルに求めるのは、渡された構造の中から、未入力の欄と、押せる状態にするまでの順番を読み取ることです。推測の余地が、画面にある部品の範囲に狭まります。

明細書に書いた流れでは、モデルは渡されたタグに対応する操作手順を、順番の付いた構造化データとして返します。対象を選ぶ、次にOKを押す、という手順です。返ってきたものが画面の構造と食い違っていれば、検証の段階で止められます。

ここが要点で、タグ情報は、モデルを賢くするためではなく、モデルの出力を点検できるようにするために渡しています。基準となる画面の形が手元にあるから、出てきた手順が合っているかを機械的に照らし合わせられるのです。

タグ情報が使われる流れと点検実行単位を一つに固定入力項目と制約条件のメタデータを用意画面の構造のタグ情報を取得制約条件と一緒にモデルへ入力モデルが操作手順を順番付きで返す手順が画面の構造と合っている?値が制約条件の範囲に入る?検証の段階で止める手順を実行してよい終了はいいいえはいいいえ
図2: 画面の構造と制約条件を組でモデルに渡し、返った手順を画面の形と値域の両方で点検する。
PYTHON参考実装例②:返ってきた手順を、画面の形と制約条件に照らして判定する(Python)
# モデルが返した手順を、実行してよいか判定する骨格。
#   画面に無い部品を触る手順、制約条件を満たさない手順は、実行しない。

def names_in(ui):
    """タグ情報から、画面に実在する部品名を集める"""
    found = set()
    def walk(nodes):
        for n in nodes:
            if "Name" in n:
                found.add(n["Name"])
            walk(n.get("Children", []))
    walk(ui["Control"])
    return found


def check_plan(unit, plan, filled):
    """plan: [{'Action': 'SelectTarget', 'Target': '対象形状'}, {'Action': 'Execute', 'Command': 'OK'}]
       filled: 補完された入力値 {'対象形状': '...'}"""
    exists = names_in(unit["ui"])

    # 1) 画面の形と照らす
    for step in plan:
        target = step.get("Target") or step.get("Command")
        if target not in exists:
            return False, f"画面に無い部品を操作しようとしている: {target}"

    # 2) 制約条件と照らす(必須入力の有無)
    for item in unit["meta"]["inputs"]:
        if item["required"] and not filled.get(item["name"]):
            return False, f"必須入力が空: {item['name']}"

    return True, "実行してよい"


# 通らなければ、実行せずに利用者へ確認を返す。
# 「それらしく補って進める」はしない。

タグだけでは足りない。制約条件と組にする理由

請求項4は、タグ情報を単独でモデルに渡すとは書いていません。制約条件と一緒に入力する、と書いています。この組み合わせにしたのには理由があります。

画面の構造だけを渡すと、モデルは押せるボタンを押す手順は作れますが、押してよいかどうかは判断できません。入力欄に値が入ればOKは押せるようになります。しかし、その値が許容範囲に入っているかは、画面の構造には書かれていないからです。

逆に、制約条件だけを渡すと、値の正しさは判断できても、それを画面にどう入れるかが分かりません。値は正しいのに、入れる場所を間違える、ということが起きます。

つまり、制約条件は何を入れてよいかを、タグ情報はどこにどう入れるかを担っています。両方があって初めて、正しい値を正しい場所に入れる、という一つの操作が組み立てられます。下の参考実装例②は、この2つを照らし合わせて、手順を実行してよいかを判定する部分の骨格です。

マクロの画面を、AIに渡せる形で書けているか✓入力欄とボタンを親子関係で書き出した✓各部品にいまの状態を持たせた✓実行してよい状態を制約条件で言葉にした✗ボタンの位置や色で画面を説明している✗画面の構造と制約条件を一つの塊に混ぜている
図3: 下の2つが残っていると、画面の更新で制約条件まで壊れます。

いまあるCATIAマクロに、画面の形を書き足すところから

この仕組みは、すべての操作をAIに任せるためのものではありません。すでに社内で動いているCATIAマクロやテンプレートを実行単位として包み、その入口にある画面の構造を書き足していくためのものです。

始めるなら、ダイアログを持つマクロを1本選び、その画面にある入力欄とボタンを親子関係で書き出してみてください。書き出してみると、どの状態になったら実行してよいのかが、意外に曖昧だったことに気づくはずです。

その曖昧さを制約条件として言葉にできれば、AIに渡す準備の大半は終わっています。残りは、渡した後に出てきた手順を、画面の形と照らして点検する仕組みです。

自社のCATIAマクロ資産をAIエージェントから安全に呼べる形にしたい、というご相談をお受けしています。どのマクロから包むべきか、画面の構造と制約条件をどう書くかを、実物を見ながら一緒に整理します。

モデルに渡す情報の重なりユーザーの言葉意図の解析に使う画面の構造(タグ情報)どこにどう入れるか。請求項4入力項目と制約条件何を入れてよいか固定した実行単位選び直させない。請求項1
図4: 下の層ほど業務のルールに近く、変わりにくい。画面の構造はリリースで変わることがあります。
Qronix 開発チーム

CATIA歴22年超・愛知県の大手自動車メーカー及びグループ各社でCATIAツール開発の技術責任者を務めたメンバーを中心とする、CAD自働化のスペシャリスト集団。2024年創業、特許第7907964号を保有。

「うちの資産でもできる?」
まずその質問からどうぞ。

できる・できないの判定と自働化設計書のご提案までは無料です。

contact@qronix.jp へ相談する
記事一覧をすべて見る →
← 記事一覧へトップページへ →