社外に出す前に、必ずAIの校閲を通す——実在性・原文・数字を突き合わせる校閲エージェント
AIに文書を書かせると、読みやすい文章がすぐにできます。困るのは、その読みやすさのせいで、間違いが混ざっても気づきにくいことです。クロニクスでは、議事録・Teamsへの投稿・メール・顧客に送る書類・広報物のすべてを、社外に出す前に校閲のエージェントに通しています。このエージェントが何を照合し、何を任せていないのかを書きます。
Photo: Unsplash読みやすい間違いほど、見落とされる
人が書いた文書の間違いは、たいてい文章の乱れと一緒に出てきます。誤字があったり、つながりがおかしかったりするので、読む側も身構えます。AIが書いた文書は、文章が整っているので、読む側が身構えません。
私たちが実際に困ったのは、議事録の要約でした。会議では話していない紹介先が、もっともらしく書かれていたのです。文章に不自然なところは1つもなく、参加者も一度は読み流していました。
こうした間違いは、AIの性質から来ています。AIは、前後の文脈から自然に続く言葉を選びます。自然に続くことと、事実であることは別です。この点は役割の境目で起きるハルシネーションの記事でも書きました。
そこで、社外に出すものは、必ず別のエージェントが正本と照合してから出す決まりにしました。書いたエージェントに見直しをさせるのではなく、別の担当に見させます。
校閲AGが照合する4つのこと
校閲のエージェントが見るのは4つです。1つ目は実在性で、文書に出てくる人の名前・会社名・案件番号・エージェントの名前が、社内の正本に実在するかを確かめます。人の名前はメンバーの一覧と顧客の連絡先、会社名は会社の一覧、案件は案件の索引と突き合わせます。
2つ目は原文との照合です。議事録なら、文字起こしの原文に出てこない人物・決定事項・数字・会社名が混ざっていないかを見ます。原文に無いものが見つかれば、それは要約の途中で混ざったものです。
3つ目は数字と事実です。金額・日付・進み具合や、「購入決定」「契約見込み」のような重い言い回しが、原文や正本と一致しているかを確かめます。とくに重い言い回しは、1語違うだけで相手の受け取り方が大きく変わります。
4つ目は表記の決まりです。案件番号だけで書かず略称を添える、エージェントはIDと愛称をセットで書く、全角と半角をそろえる、といった社内の決まりを守っているかを見ます。
def check_names(doc_names, members, contacts, companies):
"""文書に出てくる人名・会社名が正本に実在するか。無ければ要確認として返す"""
known_people = set(members) | set(contacts)
issues = []
for n in doc_names["people"]:
if n not in known_people:
issues.append({"name": n, "kind": "人", "level": "要確認"})
for c in doc_names["companies"]:
if c not in companies:
issues.append({"name": c, "kind": "会社", "level": "要確認"})
return issues # 直さない。人に見せて、文書の誤りか正本が古いかを決めてもらう指摘はするが、直さない
校閲のエージェントには、やらないことも決めています。間違いを見つけても、自分では直しません。直すのは、その文書を書いたエージェントです。直したものを、もう一度校閲に回します。
指摘と修正を分けたのは、同じ担当が両方をやると、自分の直しを甘く見るからです。人の校閲でも、書いた人と見る人を分けるのは当たり前のことです。エージェントでも同じ形にしました。
文体や言い回しの好みも、校閲の対象にしていません。そこまで見させると、指摘の量が増え、本当に大事な誤りが埋もれます。校閲の仕事は、誤った情報が外に出るのを止めることに絞っています。
そして、最終の承認もしません。校閲を通った文書でも、社外に出すかどうかは人が決めます。校閲は、人が目で見る前にノイズを減らす役であって、人の確認の代わりではありません。
自然に続くことと、事実であることは別。
だから、書いた者とは別の者が照合する。
判定は3段階——人に見せる形を決める
校閲の結果は、そのまま出してよいもの・要確認のもの・出してはいけないもの、の3段階で返します。判定だけでなく、どの行の、何が、どの正本とどう食い違っているのかを並べます。
要確認と出してはいけないものは、必ず人に見せる決まりにしました。以前は、校閲の結果を書いた側のエージェントが受け取って直し、人には直した後の文書だけが届いていました。それでは、何が直されたのかが人から見えません。
今は、要確認の項目があれば、直す前の文と指摘の中身を人に見せます。人が「これはこのままでよい」と判断することもあります。たとえば、正本にまだ登録されていない新しい取引先の名前は、実在性の検査では引っかかりますが、間違いではありません。
そうした場合は、正本の側を更新します。校閲で見つかった食い違いは、文書の誤りのこともあれば、正本が古いこともあります。どちらなのかを決めるのは人です。
## 校閲レポート|DX901 検査装置ソフト 中間レビュー議事録
判定: ⚠️ 要確認(2件)
| # | 箇所 | 内容 | 照合した正本 | 判定 |
|---|------|------|--------------|------|
| 1 | 要約 2行目 | 「A社様をご紹介」 | 文字起こし原文 | ❌ 原文に出てこない |
| 2 | 宿題 3 | 「6/25 までに見積提出」 | 原文 14:32 付近 | ⚠️ 原文は「来週中」 |
自動で直した誤変換: 「キャティア」→「CATIA」(2か所)
※ 修正は書いた側(議事録 AG)が行い、再校閲に回すこと文字起こしの誤変換は、辞書で先に直す
議事録の校閲で多いのは、文字起こしの誤変換です。社名・製品名・CATIAのコマンド名などは、音声から文字にするときに決まった形で間違えます。毎回指摘していると、校閲の結果がそればかりになってしまいます。
そこで、定番の誤変換は辞書にまとめ、校閲のときに自動で直しています。辞書は、新しい誤変換が見つかるたびに1行ずつ足します。誤変換の直しは事実の判断ではないので、ここは機械に任せています。
自動で直した箇所も、校閲の結果に一覧で残します。辞書が間違っていた場合に、後から追えるようにするためです。
辞書で直せない誤りだけが人に届くので、人が見る指摘の量は減りました。指摘が少ないほど、1つひとつがきちんと読まれます。
自社で試すなら、正本の一覧を先に作る
校閲のエージェントを置くなら、最初に照合の相手になる正本を用意してください。メンバーの一覧、取引先の一覧、案件の一覧。この3つがあれば、実在性の検査はすぐに始められます。
次に、社外に出るすべての経路で、校閲を通る順番にします。議事録だけ、メールだけ、と一部に入れると、校閲を通らない経路から間違いが出ていきます。
そして、判定のうち要確認のものは、必ず人に見せる形にします。議事録の流れでも書いたとおり、最後に承認するのは人です。
AIが書いた文書をどう確かめてから外に出すか、社内の仕組みづくりを一緒に考えてみませんか。クロニクスでは、CATIAのマクロ開発で培った「実行前に止める」考え方を、文書を扱うAIエージェントにも持ち込んで構築しています。相談の段階からお手伝いします。