ツール受け入れ時のチェックリスト12項目
自動化ツールを外注したものの、納品後半年で誰も使わなくなった。よく聞く話です。原因の多くは開発側ではなく、受け入れ時のチェックが甘いことにあります。発注側がそのまま使える検収チェックリストを12項目、理由つきで書きます。
Photo: Unsplashツールが死ぬのは納品直後ではなく、半年後
納品時に動かないツールは、実はほとんどありません。問題は半年後に死ぬことです。CATIAのバージョンが上がった、Windowsが更新された、担当者が異動した、対象モデルの作り方が変わった。このどれかで止まり、直せる人がいなくて放置される。これが典型です。
だから受け入れテストで見るべきは「動くか」ではありません。壊れたときに直せるか、壊れたことに気づけるかです。この観点が抜けた検収は、動作確認をしただけで終わります。私たちが発注側の立場で入る時は、必ずここを最初に見ます。
以下の12項目は、私たちがツール開発側として自分たちに課している基準でもあります。発注側の方はそのまま検収項目に転記して構いません。むしろ、業界全体でここが揃ってほしいと思っています。
動作編:項目1〜4(異常系を先に見る)
項目1:正常系ではなく異常系から確認する。壊れたモデル、空のファイル、権限のないフォルダ、想定外の文字コード。これらを食わせて、ツールがどう振る舞うかを先に見ます。正常系のデモは開発側が必ず用意してきます。見る価値があるのは異常系です。
項目2:異常時に「止まる」か。私たちが自働化と呼ぶ所以です。異常を検知したら処理を中断し、何も書き込まずに終わること。黙って途中まで書き込んで終了するツールは、不合格にしてください。中途半端に書かれたデータほど、後工程で高くつくものはありません。
項目3:同じ入力で同じ結果が出るか。2回、3回と実行して結果が変わらないことを確認します。特にCADマクロは、実行時のアクティブウィンドウや選択状態に依存して結果が変わることがあります。ここは必ず複数回試してください。
項目4:処理時間が実運用の量で成立するか。デモは10部品、実運用は800部品ということがよくあります。件数を10倍にした時に処理時間が10倍で済むのか、100倍になるのか。実データの最大件数で1回は必ず流してもらう。これを省くと本番で必ず刺さります。
見るべきは動くかではない。
壊れたときに直せるか、気づけるかだ。
記録編:項目5〜8(何が起きたか追えるか)
項目5:ログが残るか。実行日時、実行者、対象ファイル、処理件数、結果。最低この5つが記録されること。ログのないツールは、事故が起きた時に原因を特定できません。検収時にログファイルの実物を見せてもらってください。
項目6:ログが人間に読めるか。開発者向けのスタックトレースだけ出るツールは実質ログなしです。現場の担当者が読んで、何が起きたか分かる日本語であること。私たちは「異常の1行目だけ読めば対処が分かる」を基準にしています。
項目7:処理前の状態に戻せるか。上書き前のバックアップを自動で取るか、少なくとも変更前の値をログに残すこと。取り消せない自動化は、規模の大きい手作業ミスと同じです。ここは妥協しないでください。
項目8:何を変更したかの差分が出るか。「50件処理しました」だけでは検証できません。どのファイルのどの項目をどう変えたか、一覧で出せること。特に初回導入の数か月は、この差分を人が確認する運用にすべきです。
引き継ぎ編:項目9〜12(半年後に生き残るか)
項目9:ソースコードが納品物に含まれるか。これを契約時に明記していない案件を、私たちは何度も見ました。バイナリだけの納品では、開発元が対応できなくなった時点でツールが終わります。ソースの所有と改変の権利は、必ず契約書で押さえてください。
項目10:動作環境が明記されているか。CATIAのリリースとサービスパック、Windowsのバージョン、Officeのビット数、必要な参照設定。ここが曖昧だと、環境更新のたびに原因不明の停止が起きます。文書1枚で構いません、必ず出させてください。
項目11:第三者が読める粒度のコメントがあるか。検収時に、開発者以外の技術者がコードを10分読んで、処理の流れを説明できるか試してください。説明できないなら、保守できません。コメント率ではなく、実際に読ませて判断するのが確実です。
項目12:想定外が起きた時の連絡経路と対応範囲が決まっているか。誰に、どの手段で、何時間以内に連絡できるか。無償対応の範囲はどこまでか。ここを詰めていない案件は、最初のトラブルで関係が壊れます。金額より先に決めるべき項目です。
12項目のうち、優先度が高いのはどれか
全部やる時間がない場合、私たちが優先するのは項目2、項目7、項目9の3つです。異常時に止まること、元に戻せること、ソースがあること。この3つが揃っていれば、他が多少甘くても致命傷にはなりません。逆にこの3つが欠けると、後から取り返せません。
特に項目9は、検収時ではなく発注時に決める話です。契約書に一行入れるだけで、数年後の選択肢がまったく変わります。私たちは全案件でソースを納品していますが、業界標準ではありません。発注側から確認してください。
創業2年で98ツールを現場実装し、累計500本を超えました。その中で、止まったまま放置されたツールがゼロだとは言いません。ただ、放置された原因を追うと、ほぼ全部がこの12項目のどれかに引っかかっています。チェックリストは、他人を疑うためではなく、半年後の自分を守るためにあります。
このリストはそのまま社内展開して構いません。項目を減らすのは自由ですが、項目2と項目7だけは残してください。この2つが、事故の大きさを決めます。
自社の改善をどこから手を付けるべきか迷っているなら、無料セミナーや個別の相談の場でお話しできます。持ち込みの題材そのままで構いません。話しながら整理していきましょう。