AI実務検証室 #3
AIで作った資料の「盛り」を、機械で検査する
架空の会社の営業資料を2つのAIに3つの条件で書かせ、言葉の検査・数値の照合・別の会話のAIのレビューで、どの盛りがどこで止まるかを調べた検証の素材です。お手元の資料と、その元になった文書で試せます。
Files
同梱しているファイル
テキスト・Pythonのファイル19点です（資料7本と正解キー3点はフォルダに入っています）。
01_正本_サンプル工房.md
条件と方針まで書いた、架空の会社の事実シート
02_メモ_サンプル工房.md
同じ内容を5行に縮めた、条件も方針もないメモ
03_実際に送った依頼文.md
書き手・レビュー役に送った依頼（送った順）
04_AIが書いた資料/
A 正本から／B メモから／C「もっと強く」／D 指摘を戻して直した版（7本）
05_数値照合のプログラム_check_numbers.py
資料の数値が元の文書にあるかを照合する（Python 3、標準ライブラリのみ）
06_機械検査の結果.md
数値の照合と言葉の検査の結果
07_AIレビュー.md
別の会話のAIによるレビュー（原文のまま）
08_AIレビュー_直した版.md
直した版の再レビュー（原文のまま）
09_正解キー/
検査の前に作った答え合わせ（条件A・B・C）
10_検証のまとめ.md
各条件で何が起き、何がどこで止まったかの記録
使い方.md
自分の資料で試す手順と、この検証から言えないこと
Result
今回の結果
2026年10月22日、各条件・各モデル1回ずつの実行で観測したものです。
- 正本から書かせた資料
- 盛りは0件。条件と方針まで書いた正本からは、AIはそのとおりに書いた
- メモから・「もっと強く」
- メモにない手順と約束が足され、「もっと強く」と頼むと数値の盛りも出た（正解キーで7件）
- どこで止まったか
- 7件のうち、言葉の検査0件・数値の照合2件・別の会話のAIのレビュー7件。相対的な日付は誰も拾わなかった
Notes
前提と限界
- ・会社と数値は架空です。正本・メモ・正解キーは、検証を組み立てたAI（Claude）が作成しました。
- ・結果は2026年10月22日の、各条件・各モデル1回ずつの実行です（Claude Opus 5.5／Claude Haiku 5.5）。別の題材・別の日での再現性は確かめていません。
- ・正解キーは検証を組み立てたClaudeの判断だけで作っており、AIレビューの結果と突き合わせて6件の見落としが見つかりました。動画の中の「人の判断」も、この実験ではClaudeが人の代わりに行い、記録しています。
- ・数値照合のプログラムは単純な「数＋単位」の一致で、計算値や言い換え（無料→0円）も止めます。仕分けるのは人です。
- ・作業時間の変化は測っていません。モデル名は2026年10月22日時点の表記です。
- ・社外秘の資料をAIに渡す場合は、社内の情報の取り扱い規定と、使うAIサービスの利用規約を先にご確認ください。
素材は自由にお試しいただけます。第2話の配布素材もあわせてどうぞ。ご質問はお問い合わせからどうぞ。