VNL Works
VNL Works
VNL Works

AI Crawl Log Analyzer

AI クローラー アクセスログ診断

無料

サーバーのアクセスログをこのページに入れると、AI クローラーや検索 bot が、どれだけ・いつ来ていたかを集計します。集計はお使いのブラウザの中で行い、ログは当社のサーバーへ送信しません。

  1. ログを入れる

    送信されません

  2. ブラウザ内で集計

    クローラー別・日別

  3. 概要を確認

    到達量と日ごとの偏り

Input

アクセスログ

Apache / Nginx(combined 形式)、Cloudflare Logpush(NDJSON)、Amazon S3 のサーバーアクセスログに対応しています。.gz はそのまま読み込めます。複数のファイルはまとめて集計します。

ファイルはこのブラウザの中だけで読み取ります。ログの内容も集計結果も、当社のサーバーへは送信しません。

通常は自動判定のままで構いません。判定できなかった場合だけ選んでください。

サイトの robots.txt の内容を貼り付けると、Disallow を宣言したパスへのアクセスが記録されていないかを突き合わせます。robots.txt という名前のファイルを上の枠に入れても読み込めます。

手元にログが無い場合は、架空のデータで画面を確認できます。

この診断で分かること

  • どのクローラーが、何件来ていたか
  • 日ごとの推移と、特定の日への集中
  • robots.txt で Disallow を宣言したパスへのアクセスが記録されているか(robots.txt を貼り付けた場合)

この診断では分からないこと

  • アクセス元が本当にその事業者かどうか(User-Agent の名前で判定します。IP アドレスや逆引きでの確認は行いません)
  • ログに記録されていないアクセス(CDN がキャッシュから応答した分など)
  • 個々のアクセスについての法的な評価

ログの入手先

30 日以上のログがあると、特定の日への集中まで確認できます。

レンタルサーバー
管理画面の「アクセスログ」「生ログ」などの項目からダウンロードできます(名称は事業者によって異なります)。
自社サーバー(Apache / Nginx)
access.log と、ローテーション済みの access.log.1 や .gz ファイルをまとめて入れられます。
Cloudflare
Logpush で出力した HTTP リクエストのログ(NDJSON)に対応しています。
Amazon S3
サーバーアクセスログを有効にしたバケットに出力されるログに対応しています。

免責事項

本サービスはアクセスの計測・記録と設定運用を提供するものです。robots.txt 等による意思表示は関連ガイドライン上の任意遵守であり、すべての収集を技術的・法的に防止することを保証するものではありません。課金機能(x402 等)は対応する事業者・エージェントとの間でのみ機能し、収益の発生を保証しません。検索流入・AI 経由流入の増減など特定の成果を保証するものではありません。

Nyano

AIガイド・公開デモと事例をご案内

こんにちは!AIガイドのNyanoです。 気になるテーマを選ぶか、下の入力欄からそのまま質問してください。ぴかっ✨
ご相談内容に近いものを選んでください

公開中のデモ・Labs・事例をもとにご案内します。機密情報の送信はお控えください。

0/800