# AI Crawl Observatory β

AI にどう読まれているかを、サーバー側の事実で毎日記録する。

このサイト全域に届いた AI クローラーのアクセスを、サーバー側で受け取った時点で分類・集計し、そのまま公開しています。検索・対話アシスタント系は歓迎し、学習・大量収集系は観察したうえで bulk export だけに課金する、という方針をそのまま計器盤にしたものです。

課金レーンは x402 プロトコルで本番稼働中です。学習・収集系 bot が bulk export（CSV）を取得するときだけ、Base 上の USDC で支払いを求めます。読む側（HTML・Markdown・各 JSON）はどの bot にも無料で、収益の発生を保証するものではありません。

- 計測開始: 2026-08-25（以降、日次で蓄積中）
- 計測範囲: サイト全域（サーバー側で受信した時点で分類）
- 保存: 日次集計のみ（IP・完全な UA・query string は非保存）

## Live Stats（直近 30 日 / 計測開始 2026-08-25）

- 総リクエスト: 4187
- 学習・収集系: 3102（74.1%）
- AI 検索・アシスタント系: 660（15.8%）
- 検索エンジン: 425（10.2%）
- 観測クローラー種: 12
- 日平均: 140
- Generated: 2026-10-19T01:26:06.897Z

### クローラー別ランキング

| クローラー | 分類 | レーン | リクエスト | 比率 |
|---|---|---|---:|---:|
| Meta-ExternalAgent | AI 関連クローラー | Charge（観察・export 課金） | 2635 | 62.9% |
| OAI-SearchBot | AI 検索 | Allow（歓迎） | 492 | 11.8% |
| GPTBot | AI 学習用 | Charge（観察・export 課金） | 283 | 6.8% |
| Googlebot | 検索エンジン | Allow（歓迎） | 254 | 6.1% |
| Bingbot | 検索エンジン | Allow（歓迎） | 171 | 4.1% |
| ClaudeBot | AI 学習用 | Charge（観察・export 課金） | 143 | 3.4% |
| ChatGPT-User | AI アシスタント | Allow（歓迎） | 59 | 1.4% |
| Applebot | AI 検索 | Allow（歓迎） | 54 | 1.3% |
| PerplexityBot | AI 検索 | Allow（歓迎） | 41 | 1.0% |
| Amazonbot | AI 関連クローラー | Charge（観察・export 課金） | 40 | 1.0% |
| Claude-User | AI アシスタント | Allow（歓迎） | 14 | 0.3% |
| Bytespider | AI 関連クローラー | Charge（観察・export 課金） | 1 | 0.0% |

### 到達パス上位

- /robots.txt: 480
- /: 241
- /contact: 183
- /about: 132
- /services: 127
- /labs/ai-crawl-observatory: 125
- /process: 124
- /tools/tx-debug: 121
- /projects: 116
- /tools/jpyc: 115

robots.txt と sitemap.xml が上位に来るのは、クローラーが方針とページ一覧を先に読む挙動によるものです。

## この計測の仕組み

- **サーバー側で受け取った時点で分類** — AI クローラーの多くはページの JavaScript を実行しないため、ブラウザで動く計測タグには写りません。このサイトはリクエストがアプリに届いた時点で User-Agent を既知の bot 名と照合し、応答を待たせずに集計へ加えます。
- **3 つのレーンに分ける** — 検索エンジン・AI 検索・対話アシスタント系は Allow（歓迎）、モデル学習や大量収集を目的とする bot は Charge（観察し、bulk export だけに課金）、低確度の一致は Observe（集計のみ）として扱います。人間のアクセスと判定できない User-Agent は記録しません。
- **集計だけを永続化** — 保存するのは日付・クローラー名・分類・パスのグループ・件数だけです。IP アドレス、完全な User-Agent 文字列、query string はどの経路でも保存しません。集計は永続ストアに保持し、再デプロイでは消えません。

## データ保存ポリシー

この計測は raw request log、IP アドレス、完全な User-Agent 文字列、query string を保存しません。日次集計のみを永続ストアに保持し、公開 API から JSON で取得できます。

## 自社サイトで行う場合

- サービス内容と料金: https://vnlworks.com/services/ai-crawl-observatory
- 無料チェックツール（robots.txt / llms.txt の宣言確認）: https://vnlworks.com/tools/ai-crawler-check

## Access Model

| Surface | Audience | Status | Notes |
|---------|----------|--------|-------|
| HTML page | everyone | free | 人間も AI も読める |
| Markdown page | AI agents / crawlers | free | Accept: text/markdown または /markdown ルート |
| Summary JSON | everyone | free | 集計のみ |
| Overview JSON | everyone | free | 計測の概要と発見用リンク |
| Policy JSON | everyone | free | Machine-readable policy |
| Daily Export CSV | charge bots | x402 | bulk export のみ x402 課金（学習・収集系 bot。Base / USDC） |

## Free Resources

- Summary JSON: https://vnlworks.com/api/labs/ai-crawl-observatory/summary
- Overview JSON: https://vnlworks.com/api/labs/ai-crawl-observatory/overview
- Policy JSON: https://vnlworks.com/api/labs/ai-crawl-observatory/policy
- OpenAPI: https://vnlworks.com/api/labs/ai-crawl-observatory/openapi.json

## Export (x402)

- Daily Export CSV: https://vnlworks.com/api/labs/ai-crawl-observatory/export
  - x402 status: live — $0.10 USDC on Base Mainnet (eip155:8453), export route only, facilitator https://facilitator.payai.network. Payment does not guarantee revenue.
  - Applies to: charge bots only (GPTBot, ClaudeBot, Amazonbot, CCBot, Bytespider, Meta-ExternalAgent, FacebookBot)

## Bot Classification

### Allow（歓迎）
- OAI-SearchBot — AI 検索
- ChatGPT-User — AI アシスタント
- Claude-SearchBot — AI 検索
- Claude-User — AI アシスタント
- PerplexityBot — AI 検索
- Perplexity-User — AI アシスタント
- Applebot — AI 検索
- Googlebot — 検索エンジン
- Bingbot — 検索エンジン
- Meta-ExternalFetcher — AI アシスタント

### Charge（観察・export 課金）
- GPTBot — AI 学習用
- ClaudeBot — AI 学習用
- Amazonbot — AI 関連クローラー
- CCBot — AI 関連クローラー
- Bytespider — AI 関連クローラー
- Meta-ExternalAgent — AI 関連クローラー
- FacebookBot — AI 関連クローラー

## 機械可読リソース

- llms.txt: https://vnlworks.com/llms.txt — AI 向けサイト概要（英語）
- OpenAPI: https://vnlworks.com/api/labs/ai-crawl-observatory/openapi.json — API 仕様（free / paid を明記）
- x402 Manifest: https://vnlworks.com/.well-known/x402 — 課金対象ルートと状態
- Agentic Capabilities: https://vnlworks.com/.well-known/agentic-capabilities.json — エージェント向け能力宣言
- robots.txt: https://vnlworks.com/robots.txt
- Sitemap: https://vnlworks.com/sitemap.xml

## よくある質問

### 何を計測していますか。

vnlworks.com 全域に届いたリクエストのうち、既知の AI クローラー・検索 bot と判定したものを、日付・クローラー名・分類・パスのグループ単位で数えています。人間のアクセスや判定できない User-Agent は記録しません。

### Google アナリティクスなどの解析タグでは見えないのですか。

多くの AI クローラーはページの JavaScript を実行しないため、ブラウザ上で動く計測タグには記録されません。サーバー、エッジ、アプリのミドルウェアのいずれかで受け取った時点でしか数えられず、このサイトはミドルウェアで数えています。

### 何を保存して、何を保存しないのですか。

日次集計（クローラー名、分類、レーン、パスのグループ、リクエスト数）のみ保存します。raw request log、IP アドレス、完全な User-Agent 文字列、query string は保存しません。集計は永続ストアに保持し、公開 API から JSON で取得できます。

### Allow / Charge / Observe とは何ですか。

検索エンジン・AI 検索・対話アシスタント系は Allow（歓迎）、モデル学習や大量収集を目的とする bot は Charge（観察し、bulk export だけに課金）、低確度の一致は Observe（集計のみ）です。判定は User-Agent 文字列に基づくもので、送信元の検証は行っていません。

### x402 で課金しているのですか。

はい。学習・収集系 bot が bulk export（CSV、/api/labs/ai-crawl-observatory/export）を取得するときだけ、x402 プロトコルで Base Mainnet 上の USDC の支払いを求めます（HTTP 402）。HTML ページ、Markdown、summary / overview / policy の各 JSON は誰でも無料のままで、人間のアクセスや通常の検索には影響しません。支払いは対応するエージェントとの間でのみ成立し、収益の発生を保証するものではありません。

### 自分のサイトでも同じ計測はできますか。

既存のアクセスログを持ち込んで過去分を解析する経路と、これから計測を設置して見え続ける状態にする経路があります。月次の日本語レポートと robots.txt などの方針運用まで代行しており、内容と料金はサービスページにまとめています。

## 免責事項

本サービスはアクセスの計測・記録と設定運用を提供するものです。robots.txt 等による意思表示は関連ガイドライン上の任意遵守であり、すべての収集を技術的・法的に防止することを保証するものではありません。課金機能（x402 等）は対応する事業者・エージェントとの間でのみ機能し、収益の発生を保証しません。検索流入・AI 経由流入の増減など特定の成果を保証するものではありません。

---
HTML: https://vnlworks.com/labs/ai-crawl-observatory