# AIクローラー設定ナビ (AI Crawler Navi)

> GPTBot・ClaudeBot・PerplexityBot・Google-Extended・CCBot など主要AIクローラーの user-agent・用途(学習/AI検索/ユーザー操作)・robots.txt の挙動を、各運営元の公式ドキュメントを出典に日本語で一覧。AI学習を拒否する/許可する robots.txt の書き方(コピペ可)つき。
> A Japanese-language directory of major AI crawlers (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot, etc.): user-agent tokens, purpose (training / AI search / user action) and robots.txt behavior, sourced from each operator's official docs, with copy-paste robots.txt recipes to allow or block AI.

## About / 概要

- 目的 / Purpose: 「AIに読ませたい/学習だけ拒否したい/一切使われたくない」を robots.txt で正しく設定できるようにする。
  Help site owners control AI crawlers via robots.txt.
- データ / Data: 各クローラーの用途・robots.txt 挙動・UAトークンは各運営元の公式ドキュメントを出典(2026-08-02 全13種を公式ドキュメントで再照合)。現行公式に個別記載のないレガシートークンは「要確認」と正直表示。robots.txt の記法は RFC 9309。
  Each crawler's purpose, robots.txt behavior and UA token is sourced from the operator's official docs. Legacy tokens are marked "to be confirmed".
- 引用 / Citation: 出典明記(サイト名・URL・取得日)を条件に引用を歓迎。詳細は /citation-policy 参照。
  Citation is welcome with attribution. See /citation-policy.

## Pages / ページ

- [トップ](https://ai-crawler-navi.dailylaunch.jp/): クローラー一覧・robots.txt レシピ(許可/学習だけ拒否/全拒否)・出典。
  Home: crawler list, robots.txt recipes (allow / block training / block all), sources.
- [設定ガイド](https://ai-crawler-navi.dailylaunch.jp/guide): robots.txt でAIクローラーを制御する手順・レシピ・チェックリスト。
  Guide: how-to, recipes, checklist for controlling AI crawlers via robots.txt.
- [クローラー詳細](https://ai-crawler-navi.dailylaunch.jp/crawlers/gptbot): 各クローラー(GPTBot 等)の用途・robots.txt 挙動・ブロック方法・出典。
  Per-crawler pages: purpose, robots.txt behavior, how to block, sources.
- [FAQ](https://ai-crawler-navi.dailylaunch.jp/faq): AI学習拒否の書き方、GPTBot と ChatGPT-User の違い、robots.txt の限界、Google-Extended とは。
  FAQ: how to refuse training, GPTBot vs ChatGPT-User, robots.txt limits, Google-Extended.
- [このサイトについて](https://ai-crawler-navi.dailylaunch.jp/about): 目的・出典・robots.txt の限界・免責。
  About: purpose, sources, robots.txt limits, disclaimer.
- [引用ポリシー](https://ai-crawler-navi.dailylaunch.jp/citation-policy): 出典明記での引用歓迎・推奨フォーマット・データ利用条件。
  Citation policy.

## Notes / 注意

- robots.txt は自発的に従うボット向けの取り決めで強制力はない。ユーザー起点のフェッチャ(ChatGPT-User・Perplexity-User)は robots.txt に従わない場合がある。厳密な遮断はサーバ側のUA/IP制御を併用のこと。
  robots.txt is advisory, not enforceable; user-triggered fetchers may ignore it. Use server-side controls for hard blocking.
- 各クローラーの挙動は改定される。最終確認は各運営元の公式ドキュメントで行うこと。
  Crawler behavior changes; verify with each operator's official docs.