画面の形をAIに教える——UI構造のタグを制約条件と一緒に渡すと、何が変わるか
AIにCADを操作させるとき、AIには画面が見えていません。どの入力欄が空いていて、どのボタンが押せる状態なのかを知らないまま、手順を組み立てようとします。特許第7907964号の請求項4は、この見えていない部分を補うための仕組みです。今日は、画面の構造をタグ情報としてAIに渡す理由と、その呼び名を出願前に言い換えた話を書きます。
Photo: Unsplash請求項4が足しているのは「画面の形」
請求項1は、実行単位を一つに固定し、大規模言語モデルには足りない入力値を補わせるだけ、という骨格を定めています。請求項4は、その骨格に一つの情報を足しています。実行単位に対応するユーザインタフェース構造を示すタグ情報を取得し、それを制約条件と一緒にモデルへ入力する、というものです。
言い換えると、固定した実行単位の画面に、どんな入力欄とボタンがあり、いまどういう状態なのかを、構造化したデータとしてモデルに見せる、ということです。
入力項目と制約条件だけでも、モデルは何を埋めればよいかは分かります。しかし、それを画面のどこでどう入れるのかまでは分かりません。CATIAのダイアログは、選択ボタンを押してから形状を指定し、入力欄が埋まるとOKが押せるようになる、というように、操作の順番と状態が結びついています。
この順番と状態を、推測ではなくデータとして渡すのが請求項4の役割です。
社内では「UIAタグ」と呼んでいた
開発の現場では、この情報をUIAタグと呼んでいました。Windowsが画面の部品を外から読み取るための仕組みの名前から取った、ごく内輪の呼び名です。
出願書類を詰めていく段階で、代理人から用語の整理について指摘がありました。UIAタグは一般的な術語ではないため、そのまま請求項に書くと、何を指すのかが明確でないとして問題になるおそれがある、というものです。特許の世界でいう明確性の要件です。
そこで、請求項ではUIAタグを「ユーザインタフェース構造を示すタグ情報」と言い換えました。同じとき、社内でカプセルと呼んでいた処理のまとまりも、請求項では「実行単位」に統一しています。明細書の側では、社内の呼び名を注釈付きで残してあります。
言い換えは、中身を変える作業ではありません。社内でしか通じない名前を、第三者が読んでも同じものを思い浮かべられる言葉に置き直す作業です。この作業をしてみると、自分たちが何を作ったのかを、特定の技術の名前に頼らずに説明できるかどうかが試されます。
{
"unit": "穴軸を一括作成する",
"meta": {
"inputs": [
{ "name": "対象形状", "required": true }
],
"constraints": [
"対象形状が選択されていること",
"入力値が空でないこと",
"OKボタンが有効状態であること"
]
},
"ui": {
"Control": [
{
"Name": "対象形状",
"Type": "Group",
"Children": [
{ "Name": "選択", "Type": "Button", "State": "Enabled" },
{ "Type": "Edit", "Value": "" }
]
},
{ "Name": "OK", "Type": "Button", "State": "Disabled" }
]
}
}画面の構造は、どう書くのか
明細書では、タグ情報の例をJSONで示しています。対象形状を指定するグループの中に選択ボタンと入力欄があり、別にOKボタンがあって、それぞれに種類と状態が付いている、という形です。
ポイントは、画面の見た目ではなく、部品の親子関係と状態を書いていることです。ボタンの色や位置は書きません。モデルが知る必要があるのは、どの入力欄がどのグループに属していて、いま空いているのか、OKは押せる状態なのか、という点だけです。
下の参考実装例①は、明細書の例を土台に、穴軸を作る実行単位を想定して書き直したものです。入力項目と制約条件のメタデータと、画面の構造のタグ情報を、別々の塊として持たせています。
分けておく理由は、変わる速さが違うからです。制約条件は業務のルールなので、めったに変わりません。画面の構造は、CATIAのリリースが上がると変わることがあります。変わるものと変わらないものを混ぜると、片方の更新でもう片方を壊します。
制約条件は、何を入れてよいか。
画面の形は、どこにどう入れるか。
タグを渡すと、モデルは推測しなくて済む
タグ情報が無い場合、モデルは「こういうダイアログなら、たぶん選択ボタンがあって、たぶんOKで確定する」と、学習した一般的な知識から推測します。多くの場合は当たりますが、当たらなかったときに、存在しないボタンを押す手順を平気で組み立てます。
タグ情報がある場合、モデルに求めるのは、渡された構造の中から、未入力の欄と、押せる状態にするまでの順番を読み取ることです。推測の余地が、画面にある部品の範囲に狭まります。
明細書に書いた流れでは、モデルは渡されたタグに対応する操作手順を、順番の付いた構造化データとして返します。対象を選ぶ、次にOKを押す、という手順です。返ってきたものが画面の構造と食い違っていれば、検証の段階で止められます。
ここが要点で、タグ情報は、モデルを賢くするためではなく、モデルの出力を点検できるようにするために渡しています。基準となる画面の形が手元にあるから、出てきた手順が合っているかを機械的に照らし合わせられるのです。
# モデルが返した手順を、実行してよいか判定する骨格。
# 画面に無い部品を触る手順、制約条件を満たさない手順は、実行しない。
def names_in(ui):
"""タグ情報から、画面に実在する部品名を集める"""
found = set()
def walk(nodes):
for n in nodes:
if "Name" in n:
found.add(n["Name"])
walk(n.get("Children", []))
walk(ui["Control"])
return found
def check_plan(unit, plan, filled):
"""plan: [{'Action': 'SelectTarget', 'Target': '対象形状'}, {'Action': 'Execute', 'Command': 'OK'}]
filled: 補完された入力値 {'対象形状': '...'}"""
exists = names_in(unit["ui"])
# 1) 画面の形と照らす
for step in plan:
target = step.get("Target") or step.get("Command")
if target not in exists:
return False, f"画面に無い部品を操作しようとしている: {target}"
# 2) 制約条件と照らす(必須入力の有無)
for item in unit["meta"]["inputs"]:
if item["required"] and not filled.get(item["name"]):
return False, f"必須入力が空: {item['name']}"
return True, "実行してよい"
# 通らなければ、実行せずに利用者へ確認を返す。
# 「それらしく補って進める」はしない。タグだけでは足りない。制約条件と組にする理由
請求項4は、タグ情報を単独でモデルに渡すとは書いていません。制約条件と一緒に入力する、と書いています。この組み合わせにしたのには理由があります。
画面の構造だけを渡すと、モデルは押せるボタンを押す手順は作れますが、押してよいかどうかは判断できません。入力欄に値が入ればOKは押せるようになります。しかし、その値が許容範囲に入っているかは、画面の構造には書かれていないからです。
逆に、制約条件だけを渡すと、値の正しさは判断できても、それを画面にどう入れるかが分かりません。値は正しいのに、入れる場所を間違える、ということが起きます。
つまり、制約条件は何を入れてよいかを、タグ情報はどこにどう入れるかを担っています。両方があって初めて、正しい値を正しい場所に入れる、という一つの操作が組み立てられます。下の参考実装例②は、この2つを照らし合わせて、手順を実行してよいかを判定する部分の骨格です。
いまあるCATIAマクロに、画面の形を書き足すところから
この仕組みは、すべての操作をAIに任せるためのものではありません。すでに社内で動いているCATIAマクロやテンプレートを実行単位として包み、その入口にある画面の構造を書き足していくためのものです。
始めるなら、ダイアログを持つマクロを1本選び、その画面にある入力欄とボタンを親子関係で書き出してみてください。書き出してみると、どの状態になったら実行してよいのかが、意外に曖昧だったことに気づくはずです。
その曖昧さを制約条件として言葉にできれば、AIに渡す準備の大半は終わっています。残りは、渡した後に出てきた手順を、画面の形と照らして点検する仕組みです。
自社のCATIAマクロ資産をAIエージェントから安全に呼べる形にしたい、というご相談をお受けしています。どのマクロから包むべきか、画面の構造と制約条件をどう書くかを、実物を見ながら一緒に整理します。