AIクローラー設定ナビ・最終確認 2026年9月10日

AIクローラーを、robots.txt でどう扱うかを一枚に。

GPTBot・ClaudeBot・PerplexityBot・Google-Extended ほか13種のAIクローラーについて、運営元・用途(学習/AI検索/ユーザー操作)・robots.txt の挙動を、各社の公式ドキュメントを出典に一覧化。AI学習を拒否する/許可する robots.txt の書き方もコピペで用意しました。

各社公式ドキュメントを確認して更新。今日のセルが点灯中。

収録クローラー

13種

5運営元・公式出典つき

AI学習用

5種

モデル学習向けに収集

robots.txtに従う

9/13

公式が遵守を明記

ユーザー起点

2種

robots.txtに従わない場合あり

主要AIクローラー一覧（13種）

運営元・用途で絞り込めます。用途(AI学習/AI検索/ユーザー操作)で robots.txt の扱いを変えられます。各クローラー名から、公式の記載・UA文字列・出典を確認できます。

用途13 件表示中

主要AIクローラーの user-agent・運営元・用途・robots.txt の挙動の一覧
User-agent / 運営元	用途	robots.txt の挙動	当社robots
ClaudeBotAnthropic	AI学習	robots.txtに従う	許可
anthropic-ailegacyAnthropic	AI学習	レガシー・要確認	許可
CCBotCommon Crawl	AI学習	robots.txtに従う	—
Google-ExtendedGoogle	AI学習	robots.txtに従う	許可
GPTBotOpenAI	AI学習	robots.txtに従う	許可
Claude-SearchBotAnthropic	AI検索	robots.txtに従う	許可
OAI-SearchBotOpenAI	AI検索	robots.txtに従う	許可
PerplexityBotPerplexity	AI検索	robots.txtに従う	許可
Claude-UserAnthropic	ユーザー操作	robots.txtに従う	許可
ChatGPT-UserOpenAI	ユーザー操作	ユーザー起点=従わない場合あり	許可
Perplexity-UserPerplexity	ユーザー操作	ユーザー起点=従わない場合あり	許可
GoogleOtherGoogle	その他	robots.txtに従う	—
OAI-AdsBotOpenAI	その他	公式明記なし・要確認	—

用途はAI学習(モデル学習用)／AI検索(AI検索の掲載用)／ユーザー操作(利用者の操作で取得)／その他の区分。「robots.txt の挙動」は各運営元の公式記載に基づく目安で、緑=従う・黄=ユーザー起点で従わない場合あり・灰=レガシー/要確認。「当社robots」はデイリーローンチ社の実 robots.txt での扱い。名前から各クローラーの詳細・出典へ進めます。

robots.txt レシピ（コピペ可）

目的に合わせて選び、public/robots.txt(静的サイトの場合)として保存し、/robots.txt で配信されるようにします。手順とチェックリストは設定ガイドにあります。

すべてのAIクローラーを許可する（AIに読ませたい）

AI検索・生成AIに引用・掲載されたいサイト向け。既定(User-agent: * / Allow: /)でも許可されますが、主要AIクローラーを明示 Allow にして意思表示できます。当社の全サイトはこの方針です。

robots.txt（すべてのAIクローラーを許可する（AIに読ませたい））

User-agent: *
Allow: /

# AIクローラーを明示的に許可
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://example.com/sitemap.xml

AI学習だけ拒否し、AI検索は許可する

「モデルの学習には使ってほしくないが、AI検索には出したい」場合。学習系(GPTBot・ClaudeBot・Google-Extended・CCBot 等)を Disallow し、検索系(OAI-SearchBot・PerplexityBot・Claude-SearchBot)は Allow のままにします。

robots.txt（AI学習だけ拒否し、AI検索は許可する）

# --- AI学習クローラーを拒否 ---
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

# --- AI検索はそのまま許可(何も書かなければ許可) ---
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

すべてのAIクローラーを拒否する

AIに一切使われたくない場合。ただし robots.txt は「お願い」であり強制力はありません。またユーザー起点のフェッチャ(ChatGPT-User・Perplexity-User)は robots.txt に従わない場合があります。

robots.txt（すべてのAIクローラーを拒否する）

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

robots.txt の記法は RFC 9309 (Robots Exclusion Protocol) に基づきます。robots.txt は自発的に従うボット向けの「お願い」で強制力はなく、ユーザー起点のフェッチャ(ChatGPT-User・Perplexity-User)は従わない場合があります。厳密な遮断はサーバ側のUA/IP制御を併用してください。

本番の robots.txt 実例

デイリーローンチ社は全サイトでAIクローラーを許可する方針です。実際に本番配信している robots.txt は、上の「すべて許可」レシピとほぼ同じ構成です。当サイトの robots.txt もその実例です: https://ai-crawler-navi.dailylaunch.jp/robots.txt。姉妹サイトの robots.txt レシピと、AIに読ませる llms.txt の書き方は別サイトで扱っています。

出典一覧

各クローラーの用途・robots.txt 挙動・UAトークンは、以下の各運営元の公式ドキュメントを出典に 2026年9月10日時点で確認しました。仕様は改定されるため、最終的な挙動は必ず各社公式ドキュメントでご確認ください。

Anthropic Anthropic 公式ヘルプ(クローラーのブロック方法)取得日 2026-09-10
Common Crawl Common Crawl 公式(CCBot)取得日 2026-09-10
Google Google 検索セントラル(共通クローラー)取得日 2026-09-10
OpenAI OpenAI 公式ドキュメント(Bots)取得日 2026-09-10
Perplexity Perplexity 公式ドキュメント(Bots)取得日 2026-09-10

2026-08-02に収録13種すべてについて、各運営元の公式ドキュメント(OpenAI/Anthropic/Perplexity/Google/Common Crawl)を再取得して原文と突合した(13/13照合完了・据え置き0件)。差異1件=OAI-AdsBot は現行の OpenAI 公式ドキュメントに robots.txt 遵守の記載がないため、robots挙動を「公式明記なし=要確認」に修正した(「学習には使わない」旨のみ公式明記あり)。anthropic-ai・Claude-Web は現行のAnthropic公式ヘルプに個別記載がないことを再確認し、legacy=true・挙動は要確認のまま。UAトークン文字列は公式表記どおりに更新した(OAI-SearchBot は公式の完全UA文字列が更新されていた)。robots.txt の許可例はデイリーローンチ社の実 robots.txt(本番配信中)に基づく。