Labs — Public Demo

AI Crawl Observatoryβ

AI に読ませる面は無料。持ち帰りだけ有料。

人間・検索・対話アシスタントは無料で閲覧・引用できます。学習・大規模収集系 crawler には、bulk export のみ x402 プロトコルで課金します。summary / overview / policy は公開し、raw log や IP は保存しません。

Human traffic: always freex402 discovery: activeNetwork: Base MainnetStorage: aggregate only

Page (HTML)Page (Markdown)Summary JSON Overview JSON Policy JSON OpenAPI llms.txt x402 manifest

Access Model

無料 / 有料の境界

ページと API の無料・有料を一覧で確認できます。x402 課金は bulk export のみに適用されます。

Surface

Audience

Status

Notes

HTML page

everyone

free

人間も AI も読める

Markdown page

AI agents / crawlers

free

Accept: text/markdown または /markdown ルート

Summary JSON

everyone

free

集計のみ

Overview JSON

everyone

free

Observability の概要

Policy JSON

everyone

free

Machine-readable policy

Daily Export CSV

charge bots

x402

Bulk export のみ課金

Dashboard

Public Summary

日次集計のみ公開。raw log、IP、full UA、query string は保存しません。Generated: 2026-04-07T13:38:44.019Z

Total Requests

集計済みリクエスト

Paid Requests

x402 支払い完了

Pay Rate

支払い率

Allow Bots

観測 Allow 種

Charge Bots

観測 Charge 種

Daily Average

アクティブ日平均

まだ集計データはありません

API への AI crawler アクセスが入ると自動で集計されます。
下の curl コマンドで動作を試せます。

AI Discovery

AI が最初に読むべきリソース

HTML を深掘りしなくても、以下のファイルからこの observability demo の全容を把握できます。

llms.txt

AI 向けサイト概要（英語）

/llms.txt

OpenAPI

API 仕様（free/paid 明記）

/api/labs/ai-crawl-observatory/openapi.json

x402 Manifest

支払い対象ルート一覧

/.well-known/x402

Agentic Capabilities

エージェント向け能力宣言

/.well-known/agentic-capabilities.json

For AI Agents

なぜスクレイピングより API を使うべきか

構造化された公開リソースを使うことで、AI agent は効率的かつ正確にデータを取得できます。

1JSON / Markdown は HTML パースより高速・正確

2summary / overview / policy は無料 — 支払い不要で全容把握

3x402 対応の export だけが課金対象 — 読み取りに課金なし

4API は常に最新の集計を返す — キャッシュの古さがない

5llms.txt / OpenAPI / x402 manifest で発見性が高い

// charge bot → free overview

GET /api/labs/ai-crawl-observatory/overview

User-Agent: GPTBot/1.0

200 OK

X-Payment-Accepted: x402

X-Payment-Network: eip155:8453

// charge bot → paid export

GET /api/labs/ai-crawl-observatory/export

User-Agent: GPTBot/1.0

402 Payment Required

"network": "eip155:8453"

"amount": "$0.10"

Policy

Bot Policy Matrix

canonical bot は Allow/Charge を固定で判定し、heuristic alias は常に Allow で観測します。

Lane	Typical UA	Access	Charge Rule	Rationale
Allow	OAI-SearchBot	Free on all surfaces	None	検索体験に貢献
Allow	ChatGPT-User	Free on all surfaces	None	対話型アシスタント
Allow	Claude-SearchBot	Free on all surfaces	None	検索体験に貢献
Allow	Claude-User	Free on all surfaces	None	対話型アシスタント
Allow	PerplexityBot	Free on all surfaces	None	検索体験に貢献
Allow	Perplexity-User	Free on all surfaces	None	対話型アシスタント
Allow	Applebot	Free on all surfaces	None	検索体験に貢献
Allow	Googlebot	Free on all surfaces	None	検索エンジン
Allow	Bingbot	Free on all surfaces	None	検索エンジン
Allow	Meta-ExternalFetcher	Free on all surfaces	None	対話型アシスタント
Charge	GPTBot	Free on read, x402 on export	$0.10 USDC	学習目的の大量収集
Charge	ClaudeBot	Free on read, x402 on export	$0.10 USDC	学習目的の大量収集
Charge	Amazonbot	Free on read, x402 on export	$0.10 USDC	コンテンツ収集
Charge	CCBot	Free on read, x402 on export	$0.10 USDC	コンテンツ収集
Charge	Bytespider	Free on read, x402 on export	$0.10 USDC	コンテンツ収集
Charge	Meta-ExternalAgent	Free on read, x402 on export	$0.10 USDC	コンテンツ収集
Charge	FacebookBot	Free on read, x402 on export	$0.10 USDC	コンテンツ収集
Observe	Claude-Web (heuristic)	Free, aggregate only	None	低信頼度のヒューリスティック一致
Observe	anthropic-ai (heuristic)	Free, aggregate only	None	低信頼度のヒューリスティック一致
Observe	Human / Unknown	Free, aggregate only	None	人間・未分類 UA

FAQ

よくある質問

誰が無料で、誰が支払うのか？+

人間、検索エンジン、対話型アシスタント bot は無料です。GPTBot や ClaudeBot など学習・大量収集系 bot は、bulk export（CSV ダウンロード）のみ x402 で課金されます。HTML ページ、Markdown、summary / overview / policy JSON は全員無料です。

なぜ HTML ではなく API / Markdown を用意しているのか？+

AI agent にとって、構造化された JSON や Markdown は HTML を解析するより高速で正確です。公開 API を使うことで、不要なパースやスクレイピングを避けられます。

何を保存して、何を保存しないのか？+

日次集計（crawler 名、カテゴリ、アクション、パスグループ、リクエスト数）のみ保存します。raw request log、IP アドレス、完全な User-Agent 文字列、query string は保存しません。

x402 はどのルートにだけ適用されるのか？+

export エンドポイント（/api/labs/ai-crawl-observatory/export）のみです。summary、overview、policy はすべて無料です。

人間のアクセスや通常の検索には影響するのか？+

一切影響しません。x402 は AI Crawl Observatory の export API にのみ適用され、サイトの HTML ページや既存機能には関係ありません。

Try It

curl で試す

User-Agent を変えるだけで、free route と paid route の違いを確認できます。

Free overview (charge bot) → 200

curl -i \
  -H "User-Agent: GPTBot/1.0" \
  "https://vnlworks.com/api/labs/ai-crawl-observatory/overview"

Export (charge bot) → 402

curl -i \
  -H "User-Agent: GPTBot/1.0" \
  "https://vnlworks.com/api/labs/ai-crawl-observatory/export"

Export (allow bot) → 200

curl -i \
  -H "User-Agent: OAI-SearchBot/1.0" \
  "https://vnlworks.com/api/labs/ai-crawl-observatory/export"

Privacy

データ保存ポリシー

この observability demo は raw request log、IP アドレス、完全な User-Agent 文字列、query string を保存しません。日次集計のみを保持し、公開 API から JSON で取得できます。

サイト全体の Cookie / アナリティクスの扱いはプライバシーポリシーに準拠します。この記述はこの observability 機能とその公開 API に限定されます。

Public Summary API

Network Info

x402 は export API にのみ適用されます

•x402 は export API のみに適用。summary / overview / policy は無料です
•保存は日次 aggregate のみ。raw request log は保持しません
•集計は process memory ベース。再デプロイでリセットされる場合があります
•支払いは Base Mainnet (eip155:8453) 上の USDC で処理されます

Base Mainnetx402 active

← Labs 一覧へ戻る