AI実務検証室 #7
AIへの頼み方で、手戻りは何回変わる？
同じ機能追加を、3通りの頼み方でCodexに2回ずつ頼み、合格までに呼んだ回数を数えました。実際に渡した依頼文とやりとり、課題のツールと採点用のテスト、計測表を配布します。
Files
同梱しているファイル
テキスト・JSON・Pythonなど307点です。課題のツールと隠しテストは、鍵がなくても手元で動かせます。
01_使い方.md
実験の条件、中身の一覧、記録の見方、同じ課題で自分の頼み方を数える手順、言えないこと
02_依頼メモと型/
現場の担当者が書いた体の依頼メモ、7欄の依頼文の型、Claudeへの指示文（条件③④）
03_課題のツール/harukaze/
課題にした架空の社内ツール（Python）。既存のテストつき
04_採点と担当者役/
隠しテスト一式、変更してよいファイルの一覧、担当者役の答えの表、決まりの正本、採点の手順
05_実験の仕組み/
中継・Codexの起動・担当者役・採点・事後の検査のスクリプトと自動テスト
06_実験の記録/
有効な6回と無効にした初回2回の依頼文・やりとり・担当者役の答え・採点、計測表、評価のまとめ、別の文脈による監査
Result
今回の結果
同じ仕事を3通りの頼み方で2回ずつ頼んだ結果です。動画の本編の内容を含みます。
- 合格までに呼んだ回数
- 依頼メモをそのまま渡すと2回・2回。Claudeに依頼文を書かせて人が渡すと、2回とも8回呼んで合格せず打ち切り。Claudeに呼ぶところまで任せると4回・3回でした。
- Claudeが書いて人が渡した2回
- Claudeは書く前の質問5問を使い切りましたが、発注点がゼロの商品の扱いは聞かず、依頼文の中で決めていました。2回目は依頼文の外に、この点を担当者に聞いていないという人あての注意を書いていましたが、人は直さずに渡す決まりで、そのままCodexに届きました。
- 呼ぶところまで任せた2回
- 最初は同じように不合格でした。Claude自身の確認で見つけた回はありません。採点の不合格のあと、Claudeが確かめずに決めた点を見直す頼み直しを書き、Codexがその点を質問で返して、合格しています。
Notes
前提と限界
- ・2026年10月25日に、架空の会社の架空の社内ツールで行った実験です。課題は1つ、各条件2回です。この課題・この版・この頼み方で、こうなったということまでしか言えません。
- ・実装したのはどの条件もCodex（2026年10月時点の gpt-6-astra、推論 high）です。Codexに固有の結果かどうかは試していません。Claude は claude-opus-5-5（high）、担当者役は claude-sonnet-5-5 です。
- ・人が型に沿って依頼文を書く条件は、手間の都合でやめました。差が、Claudeだから出たのか、依頼文の書き方から出たのかは分けられません。Claudeは型を埋めて書いたので、Claudeに自由に指示を作らせる使い方そのものは試していません。
- ・比べる2条件で、片方の2回がどちらも、もう片方の2回のどちらよりも少ないときだけ「少ない」と言う、と実験の前に決めました。そのまま渡した場合と呼ぶところまで任せた場合の差は1回です。
- ・依頼メモをそのまま渡した2回は、担当者役のAIの不具合を直してから、決まりどおり1度ずつやり直した回です。順番はほかの4回のあとで、担当者役の設定もこの2回だけ違います。
- ・人が中継する手間は、測った値ではなく、組み方で決まります。使ったAIの量は製品ごとに数え方が違うので、トークンで並べるだけにしています。料金は扱っていません。
- ・ご自身で試す場合は、本物のコード・顧客情報・秘密情報を使わず、社内の取り扱い規定と利用サービスの規約を先に確認してください。秘密情報をコメント欄に書かないでください。
第2話の配布素材では、AIに作らせた結果を別のAIに確かめさせる型を紹介しています。ご質問はお問い合わせからどうぞ。