同じ入力で2回流して、同じ答えが出るか——QDが毎晩、検証ケースを2回ずつ流し、答えが揺れるコマンドを実用に上げない理由
木曜日は、QDの品質と開発の裏側を書く回です。今回は、地味ですが外せない決まりの話です。同じ形を、同じ条件で、2回確かめる。2回とも同じ答えが出なければ、そのコマンドは実用の段階に上げません。
押すたびに答えが違う道具は、正しくても使われない
設計のチェックの道具で、いちばん困るのは、間違った答えを出すことだけではありません。同じ形で2回押したのに、1回目と2回目で答えが違うことです。
たとえば、薄い所の一覧が、1回目は12か所、2回目は13か所と出る。どちらが正しいのかは、押した人には分かりません。結局、図面を見ながら手で数え直すことになります。
こういうことが1回でも起きると、使う人は道具を疑いはじめます。答えが合っているかより先に、答えが変わらないかが問われます。変わる道具の答えは、記録にも報告にも使えないからです。
やっかいなのは、作った人の手元では気づきにくいことです。1回押して、合っていれば次へ進む。2回目を押して比べる人は、ほとんどいません。
同じ入力でも答えが揺れる、よくある理由
同じ形を入れても答えが変わるのは、計算の中に、入力のほかに答えを左右するものが入り込んでいるときです。よくある理由は3つあります。
1つ目は、決めずに使った乱数です。点を間引く、初めの位置を散らす、といった処理で乱数を使うと、種を決めていなければ毎回違う点が選ばれます。
2つ目は、前の計算が残したものです。速くするために途中の結果を取っておく作りは便利ですが、取っておいた物が次の計算に混ざると、2回目だけ答えが変わります。
3つ目は、並べる順番です。同じ集まりでも、取り出す順番が決まっていない入れ物を使うと、足し合わせる順や、同点のときにどちらを選ぶかが変わります。小数の足し算は順番で最後の桁が変わることがあり、それがしきい値の境目で答えを分けます。
// 数は有効数字10桁にそろえてから文字にして比べる
const stable = (x) => JSON.stringify(x, (k, v) => (typeof v === 'number' ? +v.toPrecision(10) : ArrayBuffer.isView(v) ? Array.from(v).map((n) => +n.toPrecision(10)) : v));
// 同じ形・同じ引数で2回呼ぶ
a = call(pos, Object.assign({}, defP, c.params)); b = call(pos, Object.assign({}, defP, c.params));
if (!why && stable(a.r) !== stable(b.r)) { why = '2 回で結果が違う'; res.deterministic = false; }
// 時間は2回の速い方。上限を超えたら「遅い」と決める前に、あと3回測って最速を使う
a.ms = Math.min(a.ms, b.ms);
if (!why && a.ms > budget(tris)) { for (let i = 0; i < 3; i++) a.ms = Math.min(a.ms, call(pos, Object.assign({}, defP, c.params)).ms); }QDの答え:代表の検証ケースは、毎晩2回ずつ流す
QDの夜間の検査は、コマンドごとに用意した代表の検証ケースを、同じ形・同じ引数で2回続けて流します。2回の答えを比べて、違っていれば、その1件は「2回で結果が違う」として不合格です。値が期待どおりかを比べるより前に、ここで止めます。
比べるときは、答えに入っている数を、有効数字10桁にそろえてから文字に直します。百億分の1ほどの、最後の桁の揺れまでは問いません。それより上の桁が1つでも違えば、違う答えとして扱います。
品質の段階でいうと、この決まりは「実用」に上がるための関門の1つです。実用の関門は7つあり、代表の検証ケースがすべて通ること、形を回しても同じ答えになること、時間の上限に収まることなどと並んで、2回流して同じ答えが出ることが入っています。乱数を使うコマンドは、種を決めて使う決まりです。
2回のうち1回だけ流す、という省き方はしていません。検証ケースの数だけ、毎晩2回ずつ流しています。
合っているかの前に、変わらないか。
2回の答えが同じでなければ、実用とは呼ばない。
2回流すことは、時間の測り方にも効いている
2回流すのは、答えを比べるためだけではありません。かかった時間は、2回のうち速い方で決めます。夜中でも、機械では別の処理が動いていることがあり、1回だけ測ると、そのときの混み具合で時間が揺れるからです。
速い方でも時間の上限を超えたときは、「遅い」と決める前に、さらに3回測って、いちばん速い値を使います。機械が忙しかっただけの揺れで、コマンドを落とさないためです。
順番にも決まりがあります。答えを比べてから、時間を見ます。先に時間で落とすと、答えも間違っていたことが記録に残らず、速くなった晩に突然答えの間違いが表に出るからです。答えも時間も通らなければ、両方を書きます。
答えの揺れは不合格、時間の揺れは測り直して吸収する。同じ2回の実行から、扱いを分けています。
今朝の数字:52晩、2回で違う答えは0回
残っている夜間の検査の記録は、9月29日から今朝11月19日までの52晩分です。この52晩で、「2回で結果が違う」として落ちた検証ケースは、1件もありませんでした。
今朝の検査では、試験を持つ431のコマンドで、代表の検証ケース8,644件を2回ずつ流しました。通ったのは8,559件です。通らなかったケースのうち、記録に書き出された64件は、理由がすべて「遅い」でした。答えの揺れや、値の食い違いではありません。
形を回したり鏡に映したりして自動で作った試験は37,260件のうち36,587件、入力の値を端まで振った試験は12,330件すべてが通りました。
検査全体では、540のコマンドを判定しました。昨日の535から5本増えています。段階は、実用75・簡易305・試作141・未実装19です。昨日と比べると、未実装は51から19に減り、試作は104から141に増えました。段階が下がったコマンドは0で、今朝の検査は午前0時に始まり、2時19分に成功として終わりました。
import json, random
def stable(x):
# 数は有効数字10桁にそろえてから文字にする(最後の桁の揺れまでは問わない)
def r(v):
if isinstance(v, float):
return float(f"{v:.10g}")
if isinstance(v, dict):
return {k: r(w) for k, w in v.items()}
if isinstance(v, (list, tuple)):
return [r(w) for w in v]
return v
return json.dumps(r(x), sort_keys=True, ensure_ascii=False)
def twice(fn, *args):
a, b = fn(*args), fn(*args)
return "同じ" if stable(a) == stable(b) else "2回で結果が違う"
def area_ok(w, h): # 決まった計算だけ
return {"面積": w * h, "周長": 2 * (w + h)}
def sample_bad(pts): # 種を決めずに点を間引く
pick = random.sample(pts, 3)
return {"平均": sum(pick) / 3}
def sample_good(pts, seed=1): # 種を決めて間引く
pick = random.Random(seed).sample(pts, 3)
return {"平均": sum(pick) / 3}
pts = [0.0, 1.5, 2.0, 3.25, 4.0, 5.5, 7.0, 8.75]
print("面積と周長", twice(area_ok, 30.0, 20.0))
print("種なしの間引き", twice(sample_bad, pts))
print("種ありの間引き", twice(sample_good, pts))
# 面積と周長 同じ
# 種なしの間引き 2回で結果が違う(たまたま同じ3点を選ぶと「同じ」になる。56回に1回ほど)
# 種ありの間引き 同じ社内のツールで、今日から始められること
QDのような仕組みがなくても、始められることがあります。まず、いま使っているマクロや社内ツールで、同じ部品を2回続けて流し、出てきた結果を並べて比べてみてください。数字の表なら、差を取るだけで分かります。
違いが出たら、乱数、取っておいた途中の結果、順番の決まっていない入れ物の3つを疑います。乱数なら種を決める、取っておいた物なら計算の前に空にする、入れ物なら並べてから使う。どれも直すのは数行です。
最後に、2回流して比べる作業を、ツールを直すたびの決まりにします。正しい答えを知らなくても、2回の答えが同じかどうかは、機械が確かめられます。答えを用意する手間がいらないので、続けやすい試験です。
社内のツールの答えが、日によって、押すたびに変わって困っている、という相談もお受けしています。今のツールと、いつも使う部品を1〜2点お借りして、どこで答えが揺れるかを一緒に確かめるところから始めます。ヒアリングと自働化設計書のご提案までは無料です。QDで確かめられることの全体は、製品ページQRONIX QDにまとめています。
記事一覧をすべて見る →