VNL Works
VNL Works
VNL Works

ナビゲーションメニュー

Labs — 本番稼働中の公開デモ

AI Crawl Observatoryβ

AI にどう読まれているかを、サーバー側の事実で毎日記録する。

このサイト全域に届いた AI クローラーのアクセスを、サーバー側で受け取った時点で分類・集計し、そのまま公開しています。検索・対話アシスタント系は歓迎し、学習・大量収集系は観察したうえで bulk export だけに課金する、という方針をそのまま計器盤にしたものです。

課金レーンは x402 プロトコルで本番稼働中です。学習・収集系 bot が bulk export（CSV）を取得するときだけ、Base 上の USDC で支払いを求めます。読む側（HTML・Markdown・各 JSON）はどの bot にも無料で、収益の発生を保証するものではありません。

自社サイトで行う場合の内容と料金自社サイトの robots.txt を無料で確認
計測開始
2026-08-25
以降、日次で蓄積中
計測範囲
サイト全域
サーバー側で受信した時点で分類
保存
日次集計のみ
IP・完全な UA・query string は非保存
最終集計
2026-10-19T00:48:30.526Z
x402 active
Dashboard

公開集計

日次集計のみを公開しています。raw log、IP アドレス、完全な User-Agent 文字列、query string は保存しません。

総リクエスト
4,115
期間内に記録した bot リクエストの合計
学習・収集系
3,030
全体の 73.6% — Charge レーン（観察・export 課金）
AI 検索・アシスタント系
660
全体の 16.0% — Allow レーンのうち AI 検索・対話アシスタント
検索エンジン
425
全体の 10.3% — Allow レーンのうち Googlebot / Bingbot など
観測クローラー種
12
期間内に到達した既知クローラーの種類
日平均
137
アクセスがあった日の平均

日次リクエスト（レーン別）

Charge（観察・export 課金）Allow（歓迎）
日次データを表で確認
日次リクエストのデータ表（合計・Charge レーン・Allow レーン）
日付合計Charge（観察・export 課金）Allow（歓迎）
2026-09-20381424
2026-09-21592633
2026-09-22381424
2026-09-2330426
2026-09-2427924138
2026-09-2575372
2026-09-2627324
2026-09-2729425
2026-09-2850248
2026-09-2928127
2026-09-30861175
2026-10-012,3182,23880
2026-10-0235332
2026-10-0346442
2026-10-0424222
2026-10-0526323
2026-10-0690189
2026-10-0735332
2026-10-0823221
2026-10-09937122
2026-10-10482424
2026-10-1124222
2026-10-1228226418
2026-10-1363162
2026-10-14805129
2026-10-1525223
2026-10-1666363
2026-10-1746541
2026-10-1826323
2026-10-1926251

クローラー別の内訳

内訳データを表で確認
クローラー別内訳のデータ表
クローラーレーンリクエスト比率
Meta-ExternalAgentCharge（観察・export 課金）2,63564.0%
OAI-SearchBotAllow（歓迎）49212.0%
GPTBotCharge（観察・export 課金）2836.9%
GooglebotAllow（歓迎）2546.2%
BingbotAllow（歓迎）1714.2%
ClaudeBotCharge（観察・export 課金）711.7%
ChatGPT-UserAllow（歓迎）591.4%
ApplebotAllow（歓迎）541.3%
PerplexityBotAllow（歓迎）411.0%
AmazonbotCharge（観察・export 課金）401.0%
Claude-UserAllow（歓迎）140.3%
BytespiderCharge（観察・export 課金）10.0%

到達パス上位

  • /robots.txt479
  • /241
  • /contact183
  • /about132
  • /services127
  • /process124
  • /labs/ai-crawl-observatory122
  • /tools/tx-debug121
  • /projects116
  • /tools/jpyc115

robots.txt と sitemap.xml が上位に来るのは、クローラーが方針とページ一覧を先に読む挙動によるものです。

クローラー別ランキング

12 種を観測
クローラー別ランキング（リクエスト数・比率）
クローラー分類リクエスト支払い済み比率
Meta-ExternalAgentCharge（観察・export 課金）AI 関連クローラー2,635064.0%
OAI-SearchBotAllow（歓迎）AI 検索492012.0%
GPTBotCharge（観察・export 課金）AI 学習用28306.9%
GooglebotAllow（歓迎）検索エンジン25406.2%
BingbotAllow（歓迎）検索エンジン17104.2%
ClaudeBotCharge（観察・export 課金）AI 学習用7101.7%
ChatGPT-UserAllow（歓迎）AI アシスタント5901.4%
ApplebotAllow（歓迎）AI 検索5401.3%
PerplexityBotAllow（歓迎）AI 検索4101.0%
AmazonbotCharge（観察・export 課金）AI 関連クローラー4001.0%
Claude-UserAllow（歓迎）AI アシスタント1400.3%
BytespiderCharge（観察・export 課金）AI 関連クローラー100.0%
How It Works

この計測の仕組み

計測タグではなく、リクエストがサーバーに届いた時点で数えています。判定は User-Agent 文字列によるもので、送信元（IP / rDNS）の検証は行っていません。

1

サーバー側で受け取った時点で分類

AI クローラーの多くはページの JavaScript を実行しないため、ブラウザで動く計測タグには写りません。このサイトはリクエストがアプリに届いた時点で User-Agent を既知の bot 名と照合し、応答を待たせずに集計へ加えます。

2

3 つのレーンに分ける

検索エンジン・AI 検索・対話アシスタント系は Allow（歓迎）、モデル学習や大量収集を目的とする bot は Charge（観察し、bulk export だけに課金）、低確度の一致は Observe（集計のみ）として扱います。人間のアクセスと判定できない User-Agent は記録しません。

3

集計だけを永続化

保存するのは日付・クローラー名・分類・パスのグループ・件数だけです。IP アドレス、完全な User-Agent 文字列、query string はどの経路でも保存しません。集計は永続ストアに保持し、再デプロイでは消えません。

Policy

Bot ごとの扱い

既知の bot 名で Allow / Charge を固定し、低確度の一致は Allow 側で観測します。判定は User-Agent 文字列に基づくもので、名乗りが正しいかどうかの検証は含みません。

Bot ごとの扱い（レーン・読み取り・課金・分類理由）
レーン代表的な UA読み取り課金分類理由
AllowOAI-SearchBotすべての面で無料なし検索体験に貢献
AllowChatGPT-Userすべての面で無料なし利用者の指示による取得
AllowClaude-SearchBotすべての面で無料なし検索体験に貢献
AllowClaude-Userすべての面で無料なし利用者の指示による取得
AllowPerplexityBotすべての面で無料なし検索体験に貢献
AllowPerplexity-Userすべての面で無料なし利用者の指示による取得
AllowApplebotすべての面で無料なし検索体験に貢献
AllowGooglebotすべての面で無料なし検索エンジン
AllowBingbotすべての面で無料なし検索エンジン
AllowMeta-ExternalFetcherすべての面で無料なし利用者の指示による取得
ChargeGPTBot読み取りは無料。bulk export のみ課金対象$0.10 USDC（export のみ）学習目的の大量収集
ChargeClaudeBot読み取りは無料。bulk export のみ課金対象$0.10 USDC（export のみ）学習目的の大量収集
ChargeAmazonbot読み取りは無料。bulk export のみ課金対象$0.10 USDC（export のみ）コンテンツ収集
ChargeCCBot読み取りは無料。bulk export のみ課金対象$0.10 USDC（export のみ）コンテンツ収集
ChargeBytespider読み取りは無料。bulk export のみ課金対象$0.10 USDC（export のみ）コンテンツ収集
ChargeMeta-ExternalAgent読み取りは無料。bulk export のみ課金対象$0.10 USDC（export のみ）コンテンツ収集
ChargeFacebookBot読み取りは無料。bulk export のみ課金対象$0.10 USDC（export のみ）コンテンツ収集
ObserveClaude-Web（heuristic）無料。集計のみなし低確度のヒューリスティック一致
Observeanthropic-ai（heuristic）無料。集計のみなし低確度のヒューリスティック一致
ObserveHuman / Unknown無料。集計のみなし人間・未分類の User-Agent（記録しません）
FAQ

よくある質問

何を計測していますか。+
vnlworks.com 全域に届いたリクエストのうち、既知の AI クローラー・検索 bot と判定したものを、日付・クローラー名・分類・パスのグループ単位で数えています。人間のアクセスや判定できない User-Agent は記録しません。
Google アナリティクスなどの解析タグでは見えないのですか。+
多くの AI クローラーはページの JavaScript を実行しないため、ブラウザ上で動く計測タグには記録されません。サーバー、エッジ、アプリのミドルウェアのいずれかで受け取った時点でしか数えられず、このサイトはミドルウェアで数えています。
何を保存して、何を保存しないのですか。+
日次集計（クローラー名、分類、レーン、パスのグループ、リクエスト数）のみ保存します。raw request log、IP アドレス、完全な User-Agent 文字列、query string は保存しません。集計は永続ストアに保持し、公開 API から JSON で取得できます。
Allow / Charge / Observe とは何ですか。+
検索エンジン・AI 検索・対話アシスタント系は Allow（歓迎）、モデル学習や大量収集を目的とする bot は Charge（観察し、bulk export だけに課金）、低確度の一致は Observe（集計のみ）です。判定は User-Agent 文字列に基づくもので、送信元の検証は行っていません。
x402 で課金しているのですか。+
はい。学習・収集系 bot が bulk export（CSV、/api/labs/ai-crawl-observatory/export）を取得するときだけ、x402 プロトコルで Base Mainnet 上の USDC の支払いを求めます（HTTP 402）。HTML ページ、Markdown、summary / overview / policy の各 JSON は誰でも無料のままで、人間のアクセスや通常の検索には影響しません。支払いは対応するエージェントとの間でのみ成立し、収益の発生を保証するものではありません。
自分のサイトでも同じ計測はできますか。+
既存のアクセスログを持ち込んで過去分を解析する経路と、これから計測を設置して見え続ける状態にする経路があります。月次の日本語レポートと robots.txt などの方針運用まで代行しており、内容と料金はサービスページにまとめています。

この計測をご自身のサイトで行う場合の進め方と料金は AI Crawl Observatory のサービスページ にまとめています。

For AI Agents

機械可読リソース

HTML を解析しなくても、以下のファイルからこの計測の全容を把握できます。summary / overview / policy は無料です。

llms.txt

AI 向けサイト概要（英語）

/llms.txt
OpenAPI

API 仕様（free / paid を明記）

/api/labs/ai-crawl-observatory/openapi.json
x402 Manifest

課金対象ルートと状態

/.well-known/x402
Agentic Capabilities

エージェント向け能力宣言

/.well-known/agentic-capabilities.json

無料 / 課金対象の境界

公開面と x402 課金対象の境界
SurfaceAudienceStatusNotes
HTML pageeveryonefree人間も AI も読める
Markdown pageAI agents / crawlersfreeAccept: text/markdown または /markdown ルート
Summary JSONeveryonefree集計のみ
Overview JSONeveryonefree計測の概要と発見用リンク
Policy JSONeveryonefreeMachine-readable policy
Daily Export CSVcharge botsx402bulk export のみ x402 課金（学習・収集系 bot。Base / USDC）

なぜスクレイピングより API を使うべきか

構造化された公開リソースを使うことで、AI agent は効率的かつ正確にデータを取得できます。

1JSON / Markdown は HTML の解析より高速で正確
2summary / overview / policy は無料 — 支払いなしで全容を把握できる
3課金対象は bulk export だけ — 読み取りに課金しない
4API は常に最新の集計を返す — キャッシュの古さがない
5llms.txt / OpenAPI / x402 manifest で発見しやすい
// charge bot → free overview
GET /api/labs/ai-crawl-observatory/overview
User-Agent: GPTBot/1.0
200 OK
X-Payment-Accepted: x402
X-Payment-Network: eip155:8453
// charge bot → paid export
GET /api/labs/ai-crawl-observatory/export
User-Agent: GPTBot/1.0
402 Payment Required
"network": "eip155:8453"
"amount": "$0.10"
Try It

curl で試す

User-Agent を変えるだけで、無料ルートと課金対象ルートの応答の違いを確認できます。

Free overview (charge bot) → 200
Free overview (charge bot) → 200
curl -i \
  -H "User-Agent: GPTBot/1.0" \
  "https://vnlworks.com/api/labs/ai-crawl-observatory/overview"
Export (charge bot) → 402
Export (charge bot) → 402
curl -i \
  -H "User-Agent: GPTBot/1.0" \
  "https://vnlworks.com/api/labs/ai-crawl-observatory/export"
Export (allow bot) → 200
Export (allow bot) → 200
curl -i \
  -H "User-Agent: OAI-SearchBot/1.0" \
  "https://vnlworks.com/api/labs/ai-crawl-observatory/export"
Privacy

データ保存ポリシー

この計測は raw request log、IP アドレス、完全な User-Agent 文字列、query string を保存しません。日次集計のみを永続ストアに保持し、公開 API から JSON で取得できます。

サイト全体の Cookie / アナリティクスの扱いは プライバシーポリシー に準拠します。この記述はこの計測機能とその公開 API に限定されます。

Public Summary API
Network Info

x402 は export API にのみ適用されます

  • •課金対象は export API のみ。summary / overview / policy は無料です
  • •保存は日次集計のみ。永続ストアに保持します（保持 730 日）
  • •支払いは Base Mainnet（eip155:8453）上の USDC で処理されます
Base Mainnetx402 active

免責事項

本サービスはアクセスの計測・記録と設定運用を提供するものです。robots.txt 等による意思表示は関連ガイドライン上の任意遵守であり、すべての収集を技術的・法的に防止することを保証するものではありません。課金機能（x402 等）は対応する事業者・エージェントとの間でのみ機能し、収益の発生を保証しません。検索流入・AI 経由流入の増減など特定の成果を保証するものではありません。

Next Step

この計測を、自社サイトでも

既存のログを持ち込む経路と、これから計測を設置する経路があります。どちらが向くかを含めてご案内します。まずは無料チェックツールで robots.txt の宣言状況を確認するところからでも構いません。

サービス内容と料金を見る相談する
← Labs 一覧へ戻る

Nyano

AIガイド・公開デモと事例をご案内

こんにちは！AIガイドのNyanoです。 気になるテーマを選ぶか、下の入力欄からそのまま質問してください。ぴかっ✨
ご相談内容に近いものを選んでください
よくあるご質問から選ぶ
このテーマの公開デモ
Aiya DesireIn Development探索、リズム、心理ホラーを束ねた自社開発中の新作ゲーム。GENOME UIPublic PoCAIでLPとUI案を最短で試作する公開PoC。AI Crawl ObservatoryLabs DemoAIクローラーのアクセスをサーバー側で実測し、日次集計を公開しているLabsデモ。

公開中のデモ・Labs・事例をもとにご案内します。機密情報の送信はお控えください。

0/800