昨日まで通っていたのに、今日は落ちる——設計の自動化ツールが信用を失う理由と、QDが毎晩すべてのコマンドを測り直して、下がった物を止める理由
「先月までちゃんと動いていたのに、今日のは数字がおかしい」。月曜日は、設計の自動化が進まない理由の回です。今回の理由は、作ったツールが、直したり足したりするうちに、昨日まで正しかった所で黙って間違えるようになることです。今朝、QDの夜の検査は実際に1つのコマンドを止めました。その記録を見ながら、なぜそうなるのか、QDがどう向き合っているのかを順に書きます。
ツールが信用を失うのは、黙って間違えた1回から
設計の現場で作られる便利なマクロや社内ツールは、最初はよく使われます。部品表を出す、寸法を拾う、決まった確認を流す。手で30分かかっていたことがボタン1つになれば、使わない理由はありません。
使われなくなるきっかけは、たいてい1回の間違いです。誰かが別の機能を足した次の週に、前から使っていた機能が違う数字を出す。エラーで止まってくれれば気づけますが、それらしい数字を黙って出すと、気づくのは図面が出た後です。
一度そうなると、使う人は結果を手で確かめ直すようになります。確かめ直すなら、最初から手でやるのと手間が変わりません。ツールは消えるのではなく、信用されないまま残ります。
これは作る人の腕の問題というより、仕組みの問題です。直した所は誰でも試しますが、直していない所までは、毎回は試しません。
直していない所が、なぜ壊れるのか
理由の1つ目は、見えないつながりです。2つの機能が同じ計算を使っていると、片方のために計算を直したとき、もう片方の答えも変わります。作った人がそのつながりを覚えていなければ、試す対象に入りません。
2つ目は、入力の幅です。いつも試している形では正しくても、少し回した形、鏡に映した形、原点から遠くに置いた形では答えが変わることがあります。境目に近い計算ほど、こうした揺れが出やすくなります。
3つ目は、試すのが人であることです。忙しい週ほど、試すのは直した所だけになります。手で全部を試し直すのは、機能が10本を超えたあたりで現実的ではなくなります。
どれも、作った人が気をつければ防げる、という種類の話ではありません。機能が増えるほど、人の注意の外に出る所が増えていきます。
QDの答え:段階は毎晩決め直し、下がったら止める
QDでは、498のコマンドの1つ1つに品質の段階を付けています。未実装・試作・簡易・実用・製品の5段で、どの段に入るかは、検証ケースと形を変えて自動で作った試験を何件通ったかなど、決めた基準で機械が判定します。
大事なのは、この段階を一度決めたら終わりにしないことです。毎晩、すべてのコマンドを試し直して段階を決め直し、前の晩の記録と比べます。どれか1つでも段階が下がっていれば、その晩の検査は失敗として終わり、翌朝の記録に名前が残ります。
あわせて、コマンドを1本ずつ、宣言した部品だけで動かす試験も流しています。全体の中で動かしたときと答えが同じかを見るもので、見えないつながりに頼っているコマンドを見つけるためのものです。今朝は422本すべてが、単独でも全体と同じ答えを返しました。
直した所だけでなく、直していない所も含めて、毎晩全部を測り直す。人の注意に頼らず、下がったという事実だけで止めるのが、QDの決まりです。
直した所だけでなく、直していない所も。
毎晩全部を測り直し、下がったら止める。
for (const r of rows) {
const prev = readRec(r.id), why = [];
if (prev) {
if (lvIdx(r.level) < lvIdx(prev.level)) { why.push('レベルが下がった(' + prev.level + '→' + r.level + ')'); drops.push(r); }
}
// …記録を書き、履歴に足す…
}
if (gate && (drops.length || unmet.length)) {
console.log('品質ゲート NG:' + drops.concat(unmet).map((r) => r.id).join(', '));
process.exit(1); // 1つでも下がっていれば、その晩は失敗
}今朝、止まった1件
今朝11月9日のゲートでは、2つの形を重ねる位置合わせのコマンドが、実用から簡易に下がりました。代表の検証ケース20件はすべて通りましたが、形を変えて自動で作った試験136件のうち2件が通りませんでした。11月1日から8日までの8晩は、136件すべてが通っていた試験です。
記録を見ると、このコマンドの中身、つまり工程・検証ケース・試験・画面の見本は、前の晩から変わっていません。自分は何も変わっていないのに、答えが揺れたということです。
実は、このコマンドが下がるのは初めてではありません。残っている記録では、10月7日から今朝までに8回、実用から簡易に下がっています。それまでの7回は、1〜2晩で実用に戻りました。
戻るから放っておいてよい、とは考えていません。下がっては戻るのは、境目の近くで答えが揺れている印です。なぜ揺れるのかは、この記事を書いている時点ではまだ分かっていません。毎晩止まるたびに名前が残るので、見過ごされずに調べる対象として残ります。
毎晩止めることで、使う人の側で変わること
使う人にとって大事なのは、ツールの中身ではなく、今日の答えが昨日と同じ基準で出ているかどうかです。段階を毎晩決め直していれば、「今日は実用の段にある」ことを、その朝の記録で示せます。
反対に、段階が下がった朝は、そのことが記録に残ります。黙って違う答えを出すのではなく、「このコマンドは今朝、簡易に下がっている」と言える状態にしておく。それが、手で確かめ直さなくてよいツールの前提だと考えています。
今朝のゲート全体では、498のコマンドのうち、実用が69、簡易が308、試作が103、未実装が18でした。前の晩より実用が1つ減ったのは、この位置合わせの1件です。数が減った朝も、そのまま書きます。
毎晩の検査は、午前2時に始まって、今朝は3時46分に終わりました。人が寝ている間に498本を測り直し、朝には結果がそろっています。
社内のツールで、今日から始められること
QDのような仕組みがなくても、始められることがあります。まず、ツールの機能ごとに、正しい答えが分かっている入力を1つずつ用意します。ふだん使う部品で構いません。
次に、それを直した所だけでなく、全部の機能で流します。毎回、前の結果と比べて、違う答えが出た所を一覧にします。比べる相手が前回の結果なので、正しい答えを毎回考え直す必要はありません。
最後に、違う答えが1つでも出たら、その版は配らないと決めます。決まりは単純なほど続きます。手で流すのが続かなければ、画面を開かずにフォルダごと流す回に書いたように、決まった時刻に機械に流させます。
お手元のマクロや社内ツールが、直すたびに別の所を壊していて困っている、という相談もお受けしています。今のツールと、正しい答えが分かっている部品を1〜2点お借りして、どこで答えが変わるかを一緒に確かめるところから始めます。ヒアリングと自働化設計書のご提案までは無料です。QDで確かめられることの全体は、製品ページQRONIX QDにまとめています。
import sys
ORDER = ["Q0", "Q1", "Q2", "Q3", "Q4"] # 未実装・試作・簡易・実用・製品
def gate(yesterday, today):
"""前の晩と今朝の段階を比べ、下がったコマンドを返す"""
drops = []
for name, lv in today.items():
prev = yesterday.get(name)
if prev and ORDER.index(lv) < ORDER.index(prev):
drops.append(f"{name}: {prev}→{lv}")
return drops
yesterday = {"位置合わせ": "Q3", "肉厚": "Q3", "入り数": "Q2"}
today = {"位置合わせ": "Q2", "肉厚": "Q3", "入り数": "Q2"}
drops = gate(yesterday, today)
for d in drops:
print("下がった", d) # 下がった 位置合わせ: Q3→Q2
print("終了コード", 1 if drops else 0) # 終了コード 1
sys.exit(1 if drops else 0)