マクロにテストを書く——CADツールの品質保証
「マクロにテストなんて書けない」と、私たちも昔は思っていました。GUIを操作するし、CATIAが必要だし、実行に時間がかかる。しかし累計500本を超えたあたりで、テストのないツールは保守できないと確信しました。VBAでどうテストを書くか、実装レベルで書きます。
Photo: Unsplashテストのないマクロが壊れる瞬間
マクロは書いた直後は動きます。壊れるのは半年後です。CATIAのバージョンが上がる、社内の命名規則が変わる、Excelのバージョンが変わる、Windowsが更新される。書いた本人が別の部署に異動している。この状態で「動かなくなった」と言われても、誰も何が正しい挙動だったのか分かりません。
私たちが痛感したのは、テストは仕様書の代わりだということです。テストコードは「このマクロはこの入力でこの結果を返すべき」を実行可能な形で書いたもの。ドキュメントは古くなりますが、テストは古くなると失敗して教えてくれます。これが決定的な違いです。
累計500本を超えたツール群を、少人数で保守できている理由がこれです。全ツールにテストがあるから、CATIAのバージョンアップ時に一晩回して落ちたものだけを見に行けばいい。全ツールを人力で確認していたら、それだけで数週間が消えます。デバッグの総量は、テストがある世界のほうが圧倒的に少ない。
テストできる形にコードを分ける
VBAでテストを書く最大の障壁は、CATIAへの依存です。逆に言えば、CATIAに触る部分と触らない部分を分ければ、後者はすぐテストできます。文字列の整形、命名規則の判定、数量の集計、単位の変換。これらは純粋な関数として書ける部分です。
私たちの実装ルールは単純です。CATIAのオブジェクトを引数に取る関数と、値だけを引数に取る関数を分ける。前者は薄く、後者に厚みを持たせる。判断ロジックを全部後者に押し込めば、テスト可能な範囲が一気に広がります。実感として、コード量の6〜7割はCATIAなしでテストできる形に持っていけます。
この分離は品質保証以外にも効きます。ロジックが値だけで書かれていると、読めるのです。CATIAのオブジェクトモデルに埋もれた判断は、書いた本人以外には解読不能になります。テストのための分離が、そのまま可読性の改善になる。副作用のほうが大きかった、というのが正直なところです。
テストが開発時の守りなら、関所は実行時の守り。
信頼できないテストは、無いより悪い。
VBAで書く最小のテストランナー
テストフレームワークは要りません。私たちが使っているのは50行程度の自作ランナーです。AssertEqual、AssertTrue、AssertErrorの3つがあれば、実務のテストはほぼ書けます。結果はイミディエイトウィンドウとログファイルの両方に出す。それだけです。
重要なのは、テスト関数の命名規約を決めて全件を自動実行できるようにすることです。VBAにはリフレクションがないので、テスト一覧は手で登録します。面倒ですが、登録漏れを防ぐために「テストを追加したら一覧に追加」をレビュー項目にしています。仕組みで防げないところは、運用で防ぐ。
実行時間も設計します。CATIAに触らない単体テストは数秒で全件が回るようにする。開発中に何度でも回せることが重要です。CATIAを起動する結合テストは分単位かかるので、こちらは夜間バッチに回す。速いテストと遅いテストを混ぜないのが、テストを回し続けるコツです。
Private mPass As Long
Private mFail As Long
Private mLog As String
' 期待値と実測値を比較する。VBAには標準のAssertが無いので自作する
Private Sub AssertEqual(ByVal sCase As String, ByVal vExp As Variant, ByVal vAct As Variant)
If CStr(vExp) = CStr(vAct) Then
mPass = mPass + 1
mLog = mLog & "[PASS] " & sCase & vbLf
Else
mFail = mFail + 1
mLog = mLog & "[FAIL] " & sCase & " 期待=" & vExp & " 実測=" & vAct & vbLf
End If
End Sub
' テスト一覧は手で登録する。VBAにリフレクションは無い
Sub RunAllTests()
mPass = 0: mFail = 0: mLog = ""
Test_命名規則_正常系
Test_命名規則_異常系
Test_数量集計_同一部品の重複
mLog = mLog & vbLf & "合格 " & mPass & " / 失敗 " & mFail
Debug.Print mLog
If mFail > 0 Then MsgBox mLog, vbCritical Else MsgBox mLog, vbInformation
End Sub
Private Sub Test_命名規則_正常系()
AssertEqual "正しい図番は合格", True, IsValidPartNumber("ABC-12345")
End Sub
Private Sub Test_命名規則_異常系()
AssertEqual "桁不足は不合格", False, IsValidPartNumber("ABC-1234")
AssertEqual "小文字は不合格", False, IsValidPartNumber("abc-12345")
End Subフレームワークは不要です。AssertEqualとランナーだけで、CATIAに触らないロジックの大半は検証できます。
CATIAを起動する結合テストの作り方
単体テストで拾えないものは、必ずあります。実際にCATPartを開いてパラメータを書き換えたら更新が通るか。3000点のアセンブリで所定時間内に終わるか。ここは実物で確かめるしかありません。私たちは検証用のCATIAデータ一式をリポジトリに固定しています。
この検証用データが資産です。正常系のモデル、属性が欠落したモデル、更新エラーを含むモデル、階層が異常に深いモデル。意図的に壊したデータを揃えておくことで、「壊れたときに正しく止まるか」をテストできます。正常系だけのテストは、自働化の検証としては半分しか意味がありません。
結合テストは環境を汚します。そのため、実行前後で必ず開いているドキュメントを全部閉じるクリーンアップを入れます。テストが失敗した状態でCATIAにゴミが残ると、次のテストが原因不明の失敗をする。テストが不安定になった瞬間、誰も結果を信じなくなります。信頼できないテストは、無いより悪いです。
' 異常データを与えたとき、ツールが黙って通さないことを確認する
Sub IntegrationTest_属性欠落で停止すること()
Dim sPath As String
Dim oDoc As Object
Dim lNg As Long
Dim sLog As String
' リポジトリに固定した検証用データ(材質属性を意図的に空にしてある)
sPath = "D:\testdata\NG_属性欠落.CATProduct"
CATIA.DisplayFileAlerts = False
On Error GoTo ERR_HANDLER
Set oDoc = CATIA.Documents.Open(sPath)
lNg = CheckNamingAndProperties(oDoc.Product, sLog)
' 期待するのは「0件」ではなく「検出されること」
AssertEqual "属性欠落を検出する", True, (lNg > 0)
CLEANUP:
' 失敗しても必ず閉じる。ゴミが残ると次のテストが原因不明で落ちる
Do While CATIA.Documents.Count > 0
CATIA.Documents.Item(1).Close
Loop
CATIA.DisplayFileAlerts = True
Exit Sub
ERR_HANDLER:
AssertEqual "例外なく完走する", "OK", "例外: " & Err.Description
Resume CLEANUP
End Sub正常系だけのテストでは「壊れたときに止まるか」を検証できません。意図的に壊したデータこそが資産になります。
テストとDSL「関所」の関係
テストは、書いた時点の正しさを保証します。しかし実行時に想定外の対象へ操作が及ぶことは防げません。そこで私たちは、特許第7907964号のAIエージェント「Qi」にDSL(通称「関所」)を置いています。実行前に、対象・操作・範囲を検査する層です。
関所は、ツールが受け取った引数を実行前に検査します。対象パスが許可された範囲内か、操作が読み取りだけか書き込みを伴うか、影響件数が想定を超えていないか。1000点のはずが10000点を掴んでいたら止める。テストが開発時の守りなら、関所は実行時の守りです。
この二層があるから、AIを入口に置けます。Qiはコードを生成しません。検証済みの社内ツールを選択するだけです。選択された時点でそのツールはテスト済みであり、実行の直前に関所が通す。AIが間違った選択をしても、実行される操作の安全性はAIに依存しません。
「AIに作らせない。」という私たちの言葉は、AIを否定しているのではありません。検証できないものを本番に流さないと言っているだけです。テストを書く。関所を通す。そのうえでAIに選ばせる。順番を守れば、AIは現場で本当に役に立ちます。
手元の作業がこの方法で楽になりそうか、判断が付かないときは相談してください。効果が出そうか出なさそうかを、着手前に金額で見立てるところまでお手伝いします。