VNL Works
VNL Works
VNL Works

ナビゲーションメニュー

Labs — Public Demo

AI Crawl Observatoryβ

AI に読ませる面は無料。持ち帰りだけ有料。

人間・検索・対話アシスタントは無料で閲覧・引用できます。 学習・大規模収集系 crawler には、bulk export のみ x402 プロトコルで課金します。summary / overview / policy は公開し、raw log や IP は保存しません。

Current status
Public data available
x402 discovery: active
Freshness
2026-09-01T18:11:09.900Z
Access model
Human traffic: always free
Bulk export のみ x402
Network / storage
Network: Base Mainnet
Storage: aggregate only
Access Model

無料 / 有料の境界

ページと API の無料・有料を一覧で確認できます。x402 課金は bulk export のみに適用されます。

Access Model for public and x402 surfaces
SurfaceAudienceStatusNotes
HTML pageeveryonefree人間も AI も読める
Markdown pageAI agents / crawlersfreeAccept: text/markdown または /markdown ルート
Summary JSONeveryonefree集計のみ
Overview JSONeveryonefreeObservability の概要
Policy JSONeveryonefreeMachine-readable policy
Daily Export CSVcharge botsx402Bulk export のみ課金
Dashboard

Public Summary

日次集計のみ公開。raw log、IP、full UA、query string は保存しません。Generated: 2026-09-01T18:11:09.900Z

Total Requests
243
集計済みリクエスト
Paid Requests
0
x402 支払い完了
Pay Rate
0.0%
支払い率
Allow Bots
6
観測 Allow 種
Charge Bots
3
観測 Charge 種
Daily Average
30
アクティブ日平均

Daily AI Crawler Requests

TotalPaid
日次データを表で確認
Daily AI Crawler Requests data table
DateRequestsPaid Requests
2026-08-0300
2026-08-0400
2026-08-0500
2026-08-0600
2026-08-0700
2026-08-0800
2026-08-0900
2026-08-1000
2026-08-1100
2026-08-1200
2026-08-1300
2026-08-1400
2026-08-1500
2026-08-1600
2026-08-1700
2026-08-1800
2026-08-1900
2026-08-2000
2026-08-2100
2026-08-2200
2026-08-2300
2026-08-2400
2026-08-25220
2026-08-26310
2026-08-27200
2026-08-28230
2026-08-29350
2026-08-30380
2026-08-31240
2026-09-01500

Crawler Distribution

分布データを表で確認
Crawler Distribution data table
CrawlerLaneRequestsShare
Googlebotallow7530.9%
OAI-SearchBotallow3916.0%
Bingbotallow3715.2%
Applebotallow2510.3%
ClaudeBotcharge239.5%
Claude-Userallow145.8%
GPTBotcharge124.9%
Amazonbotcharge104.1%
ChatGPT-Userallow83.3%

Top Crawled Paths

  • /robots.txt110
  • /sitemap.xml17
  • /13
  • /labs/ai-crawl-observatory6
  • /tools6
  • /tools/jpyc-amount6
  • /api/labs/ai-crawl-observatory/summary3
  • /api/tools/ai-crawler-check3
  • /nyano-peace3
  • /services3

Crawler Rankings

9 crawlers tracked
Crawler Rankings with requests, paid requests, and share
CrawlerRequestsPaidShare
Googlebotallow75030.9%
OAI-SearchBotallow39016.0%
Bingbotallow37015.2%
Applebotallow25010.3%
ClaudeBotcharge2309.5%
Claude-Userallow1405.8%
GPTBotcharge1204.9%
Amazonbotcharge1004.1%
ChatGPT-Userallow803.3%
AI Discovery

AI が最初に読むべきリソース

HTML を深掘りしなくても、以下のファイルからこの observability demo の全容を把握できます。

llms.txt

AI 向けサイト概要（英語）

/llms.txt
OpenAPI

API 仕様（free/paid 明記）

/api/labs/ai-crawl-observatory/openapi.json
x402 Manifest

支払い対象ルート一覧

/.well-known/x402
Agentic Capabilities

エージェント向け能力宣言

/.well-known/agentic-capabilities.json
For AI Agents

なぜスクレイピングより API を使うべきか

構造化された公開リソースを使うことで、AI agent は効率的かつ正確にデータを取得できます。

1JSON / Markdown は HTML パースより高速・正確
2summary / overview / policy は無料 — 支払い不要で全容把握
3x402 対応の export だけが課金対象 — 読み取りに課金なし
4API は常に最新の集計を返す — キャッシュの古さがない
5llms.txt / OpenAPI / x402 manifest で発見性が高い
// charge bot → free overview
GET /api/labs/ai-crawl-observatory/overview
User-Agent: GPTBot/1.0
200 OK
X-Payment-Accepted: x402
X-Payment-Network: eip155:8453
// charge bot → paid export
GET /api/labs/ai-crawl-observatory/export
User-Agent: GPTBot/1.0
402 Payment Required
"network": "eip155:8453"
"amount": "$0.10"
Policy

Bot Policy Matrix

canonical bot は Allow/Charge を固定で判定し、heuristic alias は常に Allow で観測します。

Bot Policy Matrix with access, charge rule, and rationale
LaneTypical UAAccessCharge RuleRationale
AllowOAI-SearchBotFree on all surfacesNone検索体験に貢献
AllowChatGPT-UserFree on all surfacesNone対話型アシスタント
AllowClaude-SearchBotFree on all surfacesNone検索体験に貢献
AllowClaude-UserFree on all surfacesNone対話型アシスタント
AllowPerplexityBotFree on all surfacesNone検索体験に貢献
AllowPerplexity-UserFree on all surfacesNone対話型アシスタント
AllowApplebotFree on all surfacesNone検索体験に貢献
AllowGooglebotFree on all surfacesNone検索エンジン
AllowBingbotFree on all surfacesNone検索エンジン
AllowMeta-ExternalFetcherFree on all surfacesNone対話型アシスタント
ChargeGPTBotFree on read, x402 on export$0.10 USDC学習目的の大量収集
ChargeClaudeBotFree on read, x402 on export$0.10 USDC学習目的の大量収集
ChargeAmazonbotFree on read, x402 on export$0.10 USDCコンテンツ収集
ChargeCCBotFree on read, x402 on export$0.10 USDCコンテンツ収集
ChargeBytespiderFree on read, x402 on export$0.10 USDCコンテンツ収集
ChargeMeta-ExternalAgentFree on read, x402 on export$0.10 USDCコンテンツ収集
ChargeFacebookBotFree on read, x402 on export$0.10 USDCコンテンツ収集
ObserveClaude-Web (heuristic)Free, aggregate onlyNone低信頼度のヒューリスティック一致
Observeanthropic-ai (heuristic)Free, aggregate onlyNone低信頼度のヒューリスティック一致
ObserveHuman / UnknownFree, aggregate onlyNone人間・未分類 UA
FAQ

よくある質問

誰が無料で、誰が支払うのか？+
人間、検索エンジン、対話型アシスタント bot は無料です。GPTBot や ClaudeBot など学習・大量収集系 bot は、bulk export（CSV ダウンロード）のみ x402 で課金されます。HTML ページ、Markdown、summary / overview / policy JSON は全員無料です。
なぜ HTML ではなく API / Markdown を用意しているのか？+
AI agent にとって、構造化された JSON や Markdown は HTML を解析するより高速で正確です。公開 API を使うことで、不要なパースやスクレイピングを避けられます。
何を保存して、何を保存しないのか？+
日次集計（crawler 名、カテゴリ、アクション、パスグループ、リクエスト数）のみ保存します。raw request log、IP アドレス、完全な User-Agent 文字列、query string は保存しません。
x402 はどのルートにだけ適用されるのか？+
export エンドポイント（/api/labs/ai-crawl-observatory/export）のみです。summary、overview、policy はすべて無料です。
人間のアクセスや通常の検索には影響するのか？+
一切影響しません。x402 は AI Crawl Observatory の export API にのみ適用され、サイトの HTML ページや既存機能には関係ありません。

この計測をご自身のサイトで行う場合の進め方と料金は AI Crawl Observatory のサービスページ にまとめています。

Try It

curl で試す

User-Agent を変えるだけで、free route と paid route の違いを確認できます。

Free overview (charge bot) → 200
Free overview (charge bot) → 200
curl -i \
  -H "User-Agent: GPTBot/1.0" \
  "https://vnlworks.com/api/labs/ai-crawl-observatory/overview"
Export (charge bot) → 402
Export (charge bot) → 402
curl -i \
  -H "User-Agent: GPTBot/1.0" \
  "https://vnlworks.com/api/labs/ai-crawl-observatory/export"
Export (allow bot) → 200
Export (allow bot) → 200
curl -i \
  -H "User-Agent: OAI-SearchBot/1.0" \
  "https://vnlworks.com/api/labs/ai-crawl-observatory/export"
Privacy

データ保存ポリシー

この observability demo は raw request log、IP アドレス、完全な User-Agent 文字列、query string を保存しません。 日次集計のみを保持し、公開 API から JSON で取得できます。

サイト全体の Cookie / アナリティクスの扱いは プライバシーポリシー に準拠します。この記述はこの observability 機能とその公開 API に限定されます。

Public Summary API
Network Info

x402 は export API にのみ適用されます

  • •x402 は export API のみに適用。summary / overview / policy は無料です
  • •保存は日次 aggregate のみ。raw request log は保持しません
  • •集計は process memory ベース。再デプロイでリセットされる場合があります
  • •支払いは Base Mainnet (eip155:8453) 上の USDC で処理されます
Base Mainnetx402 active
← Labs 一覧へ戻る

Nyano

AIガイド・公開デモと事例をご案内

こんにちは！AIガイドのNyanoです。 気になるテーマを選ぶか、下の入力欄からそのまま質問してください。ぴかっ✨
ご相談内容に近いものを選んでください
よくあるご質問から選ぶ
このテーマの公開デモ
Aiya DesireIn Development探索、リズム、心理ホラーを束ねた自社開発中の新作ゲーム。GENOME UIPublic PoCAIでLPとUI案を最短で試作する公開PoC。AI Crawl ObservatoryLabs DemoAIクローラー向けの課金・観測をまとめたLabsデモ。

公開中のデモ・Labs・事例をもとにご案内します。機密情報の送信はお控えください。

0/800