このサイトについて
最終更新: 2026-09-10
目的
AIクローラー設定ナビは、主要なAIクローラーの user-agent・用途・robots.txt の挙動を日本語で正確に整理し、 「AIに読ませたい／学習だけ拒否したい／一切使われたくない」を robots.txt で 設定できるようにするサイトです。現在、5運営元・13種のクローラーを掲載しています。
データの出典と確認方法
各クローラーの用途・robots.txt の挙動・user-agent トークンは、各運営元の公式ドキュメントを出典としています。2026年9月10日に、 OpenAI・Anthropic・Perplexity・Google・Common Crawl の公式ドキュメントを実際に取得して、 収録13種すべてを原文と突き合わせ直しました(公開前の全数再照合)。 各クローラーの詳細ページに出典URL・取得日を明記しています。robots.txt の記法は RFC 9309 (Robots Exclusion Protocol) に基づきます。
確認できない値の扱い
現行の公式ドキュメントに個別記載がないトークン(anthropic-ai など、過去に使われたレガシー識別子)は、 推測で断定せず「レガシー・要確認」と正直に表示しています。robots.txt の遵守をめぐって 報道や議論があるクローラーについても、各社の現時点の公式記載を出典に整理し、断定は避けています。 公式ドキュメントに robots.txt の遵守が書かれていないクローラー(OAI-AdsBot など)は、 「公式明記なし・要確認」として、遵守すると書かないようにしています。
robots.txt の限界について（重要）
robots.txt は自発的に従うクローラー向けの取り決めで、法的な強制力はありません。 方針を無視するボットや、user-agent を詐称するアクセスは防げません。また、ユーザーの操作をきっかけに 取得するフェッチャ(ChatGPT-User・Perplexity-User)は robots.txt に従わない場合があると各社が明記しています。 当サイトは「robots.txt を書けば必ず遮断できる」とは主張しません。厳密な遮断が必要な場合は、 サーバ側での user-agent 判定・IP レンジ制御を併用してください。
関連サイト
料金や用語など、AI活用の他のテーマは姉妹サイトLLM料金ナビなどが扱っています。あわせてご利用ください。
免責
当サイトはAIクローラーと robots.txt 設定の参考情報を提供するものであり、掲載内容の正確性・完全性・最新性、 および robots.txt の設定による遮断効果を保証するものではありません。 クローラーの仕様・挙動は各運営元の判断で変更されます。最終的な挙動と設定方法は必ず各社の公式ドキュメントでご確認ください。 当サイトの情報に基づいて生じたいかなる損害についても責任を負いかねます。 サービス名・製品名は各社の商標です。