ClaudeBot
Anthropic ・ AI学習 ・ 取得日 2026-09-10
Webコンテンツを収集して生成AIモデルの有用性と安全性を高めるためのクローラー。
運営元
Anthropic
用途
AI学習
robots.txt の挙動
robots.txtに従う
当社robots.txt
許可
robots.txt の挙動
Anthropicのボットは robots.txt の業界標準ディレクティブを尊重して「巡回しない」シグナルに従う、と公式が明記。User-agent: ClaudeBot / Disallow: / でブロック。
ClaudeBot をブロックする robots.txt
User-agent: ClaudeBot
Disallow: /出典
https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler （Anthropic 公式ヘルプ(クローラーのブロック方法) ・ 取得日 2026-09-10）
Anthropic の他のクローラー
- Claude-SearchBotAI検索
- Claude-Userユーザー操作
- anthropic-aiAI学習