AI実務検証室 #2
AIに作らせて、別のAIに反証させる
架空の勤怠データを集計する小さなツールをAIに作らせ、別の会話のAIに、完成していない理由を探させた検証の素材です。お手元の小さな仕事で、同じ依頼文を試せます。
Files
同梱しているファイル
テキスト・CSV・Pythonのファイル15点です（正解キーはフォルダに4点）。
01_仕様書_spec.md
作る役のAIに渡した仕様書（要件12個）
02_サンプル入力_sample.csv
完成の条件にした入力（架空の勤怠データ）
03_正しい出力_expected_sample.csv
完成の条件にした正しい出力（直した版）
03_正しい出力_最初の版_誤り.csv
仕様を書いた側が1時間少なく書いていた最初の版
04_正解キー/
AIには渡さなかった答え合わせ（9行の入力と答え）
05_実際に送った依頼文.md
作る役・レビュー役に送った6本を、送った順に
06_完了報告_handoff_最終.md
作る役のAIが書いた完了報告（原文のまま）
07_レビュー_1回目.md
別の会話のAIによるレビュー（原文のまま）
08_レビュー_2回目と最終判定.md
2回目のレビューと最終判定（原文のまま）
09_ツール本体_overtime.py
最終版のツール（Python 3、標準ライブラリのみ）
10_記録_各段階のまとめ.md
各段階で何が起きたかの記録
使い方.md
自分の仕事で試す手順と、この検証から言えないこと
Result
今回の結果
2026年10月22日、各段階1回ずつの実行で観測したものです。
- 同じ会話での見直し
- 2か所を自分で直し、「完成しています」と回答。ただし本人の見直しなので、別のレビューが必要とも書いた
- 別の会話のレビュー
- 1回目で不具合3件。直した後の2回目で新たに見つかった極端な入力の2件は対象外と決め、最終判定は承認
- 正解キー（答え合わせ）
- 最初の版から全件一致。レビューの3件は、どれも答え合わせの想定の外
Notes
前提と限界
- ・勤怠データは架空です。仕様書と正解キーは、検証を組み立てたAI（Claude）が作成しました。最初に間違えていたのは、仕様書に付けた正しい出力のほうでした。
- ・結果は2026年10月22日の各段階1回ずつの実行です。作る役とレビュー役は同じモデル（Claude Opus 5.5）の別の会話です。別のモデル・別の日での再現性は確かめていません。
- ・見直しとレビューでは、会話を分けたことと頼み方の両方が違うため、どちらが効いたかは切り分けていません。作業時間がどれだけ変わるかも測っていません。
- ・動画の中の「人の判断」（正しい出力の訂正、どこまでを対象外にするか）は、この実験では仕様を書いたClaudeが人の代わりに行い、記録しています。
- ・モデル名は2026年10月22日時点の表記です。料金・提供条件は各社の最新情報をご確認ください。
- ・社外秘のデータをAIに渡す場合は、社内の情報の取り扱い規定と、使うAIサービスの利用規約を先にご確認ください。
素材は自由にお試しいただけます。第1話の配布素材もあわせてどうぞ。ご質問はお問い合わせからどうぞ。