AI実務検証室 #5

PHPの重大な脆弱性、うちは関係ある？

架空の持ち物12件をAIに5回判定させ、答えだけでなく、何を根拠に判断したかまで確かめました。持ち物を書き出す雛形と、実験の入力・出力・訂正の記録を配布します。

Files

同梱しているファイル

テキスト・JSON・Pythonのファイル25点です。実験時の記録と、訂正済みの配布用事実シートを分けて収録しています。

Result

架空の12件を、5つのモデル・条件の組み合わせで各1回判定した結果です。

事実シートあり／Web検索あり: Aの2回とCの1回は、訂正後の正解と12件すべて一致。当初の正解では、いずれも11件でした。
AIの知識だけ: Bの2回は、訂正後の正解と10件・9件一致。修正前と分かっている公開サイトの1件が、優先する上位3件から抜けました。
正解キーにも誤りがあった: 5回すべてがNo 3を「要確認」と判定。確認したPHPの版がWeb側の版とは限らないため、正解キーを結果の確認後に訂正しました。

Notes

・2026年10月23日に、架空の会社の持ち物12件を判定した実験です。実在する会社のシステムや、攻撃・防御の実機試験ではありません。
・Claudeの2種類のモデルを用い、各モデル・条件につき1回だけ実行しています。他社モデルや、同じ条件を繰り返した場合の再現性は検証していません。
・正解キーは結果を見たあとに1件訂正しています。No 6・No 12は複数の判定を正解として受け入れています。AIの一般的な正確性を示す点数ではありません。
・正解キー・事実シート・判定役はいずれもClaudeで、同じ見落としを共有する可能性があります。AIの判定ファイルと実験時の入力は、誤りを含め当時の記録として残しています。最新の事実を確認する際は、訂正済みの配布版と一次情報をご覧ください。
・悪用の試みが観測されたという報告と、侵入が成功したという確認は別です。脆弱性への対応は、PHP公式・JPCERT/CC・IPAおよび利用製品の提供元の最新情報を確認してください。
・自社の一覧をAIに渡す場合は、社内の情報の取り扱い規定と利用サービスの規約を先に確認してください。秘密情報や未公開の構成情報をコメント欄に書かないでください。

入力を整理し、根拠を残し、人が判断する箇所を分ける。AIの出力を照合・検証する手順を、業務ツールやPoCとして形にするご相談を受けています。