AIクローラーとエージェント一覧
確認できた各AIボットについて、robots.txtで使うトークン、取得するデータ、運営元がルールに従うと表明しているか、リクエストが本当にそのボットからのものかを確認する方法を掲載しています。コミュニティの ai.robots.txt レジストリでのみ確認できたトークンは、各ボットのページにその旨を明記しています。
| ボット | トークン | 目的 | robots.txtに従う | 確認方法 |
|---|---|---|---|---|
| GPTBot | GPTBot | 学習 | はい | IPリスト |
| OAI-SearchBot | OAI-SearchBot | 検索 | はい | IPリスト |
| ChatGPT-User | ChatGPT-User | ユーザーによる取得 | いいえ | IPリスト |
| OAI-AdsBot | OAI-AdsBot | 広告 | 記載なし | IPリスト |
| ChatGPT agent | トークンなし | エージェント | 記載なし | 署名付きリクエスト |
| ClaudeBot | ClaudeBot | 学習 | はい | IPリスト |
| Claude-SearchBot | Claude-SearchBot | 検索 | はい | IPリスト |
| Claude-User | Claude-User | ユーザーによる取得 | はい | IPリスト |
| Googlebot | Googlebot | 検索 | はい | IPリスト |
| Google-Extended | Google-Extended | 学習 | はい | — |
| Google-CloudVertexBot | Google-CloudVertexBot | 検索 | はい | IPリスト |
| GoogleOther | GoogleOther | 学習 | はい | IPリスト |
| Google-Agent | Google-Agent | エージェント | いいえ | IPリスト |
| Google-GeminiNotebook | Google-GeminiNotebook | ユーザーによる取得 | いいえ | IPリスト |
| Gemini Spark | トークンなし | エージェント | 記載なし | — |
| Gemini-Deep-Research | Gemini-Deep-Research | ユーザーによる取得 | 記載なし | — |
| GoogleAgent-Mariner | GoogleAgent-Mariner | エージェント | 記載なし | — |
| Applebot | Applebot | 検索 | はい | IPリスト |
| Applebot-Extended | Applebot-Extended | 学習 | はい | — |
| PerplexityBot | PerplexityBot | 検索 | はい | IPリスト |
| Perplexity-User | Perplexity-User | ユーザーによる取得 | いいえ | IPリスト |
| meta-externalagent | meta-externalagent | 学習 | はい | — |
| meta-webindexer | meta-webindexer | 検索 | はい | — |
| meta-externalfetcher | meta-externalfetcher | ユーザーによる取得 | いいえ | — |
| meta-externalads | meta-externalads | 広告 | はい | — |
| facebookexternalhit | facebookexternalhit | ユーザーによる取得 | いいえ | — |
| Muse | トークンなし | エージェント | 記載なし | — |
| Amazonbot | Amazonbot | 学習 | はい | IPリスト |
| Amzn-SearchBot | Amzn-SearchBot | 検索 | はい | IPリスト |
| Amzn-User | Amzn-User | ユーザーによる取得 | いいえ | IPリスト |
| DuckAssistBot | DuckAssistBot | 検索 | はい | IPリスト |
| MistralAI-User | MistralAI-User | ユーザーによる取得 | はい | IPリスト |
| MistralAI-Index | MistralAI-Index | 検索 | はい | IPリスト |
| MistralAI-Training | MistralAI-Training | 学習 | はい | — |
| CCBot | CCBot | 学習 | はい | IPリスト |
| cohere-ai | cohere-ai | ユーザーによる取得 | 記載なし | — |
| Bytespider | Bytespider | 学習 | いいえ | — |
| YouBot | YouBot | 検索 | 記載なし | — |
| Diffbot | Diffbot | 検索 | 記載なし | — |
| Timpibot | Timpibot | 学習 | 記載なし | — |
目的の説明
- 学習
- モデルのトレーニングや一般的な調査用のクロールを目的に、ページを収集します。Google-Extended と Applebot-Extended は制御用トークンであり、それ自体がページを取得することはありません。
- 検索
- Google Search から ChatGPT search、Perplexity、DuckAssist などのAI回答エンジンまで、検索サービス向けにページをインデックスします。ブロックすると、そのサービスに掲載されなくなります。
- ユーザーによる取得
- チャットやツールでユーザーが求めたページを取得します。robots.txtがこうしたリクエストに適用されない場合があると表明している運営元も複数あります。
- エージェント
- 多くの場合、フルブラウザーを使ってユーザーに代わりページを閲覧し、操作します。トークンがないものも多く、署名がある場合に限り、それによって識別できます。
- 広告
- 広告主が登録した広告のリンク先ページを確認します。robots.txtジェネレーターの対象外です。
ボットの身元を確認する
user-agent文字列は簡単に偽装できます。大半の大手事業者は、ボットが使用するIPアドレス範囲をJSONファイルで公開しており、一覧では「IPリスト」と表示しています。リクエスト元のアドレスを、そのトークンに対応するリストと照合してください。名前だけが一致しても、身元は未確認として扱います。
逆引きDNSを公開している事業者もあります。たとえばCommon Crawlによると、CCBotのホスト名は*.crawl.commoncrawl.orgに解決されます。信頼する前に、そのホスト名を逆引きして同じアドレスに解決されることを確認してください。
エージェントはWeb Bot Authドラフトに基づき、HTTP Message Signatures (RFC 9421) でリクエストに署名するケースが増えています。リクエストではSignature-Agentに事業者を指定し、そのドメインの/.well-known/http-message-signatures-directoryにある公開鍵で検証します。有効な署名で証明できるのは事業者の身元であり、背後にいるユーザーや、そのユーザーに許可された操作ではありません。
AIクローラーに関する質問
robots.txtを無視するAIクローラーはどれですか？
各事業者の公式ドキュメントによると、ChatGPT-User、Perplexity-User、Google-Agent、Google-GeminiNotebook、Amzn-User、meta-externalfetcher、facebookexternalhitは、ユーザーが取得を開始するケースが主な理由で、robots.txtに従わない場合があります。また、コミュニティからはBytespiderがrobots.txtを尊重しないとの報告があります。
GPTBot、OAI-SearchBot、ChatGPT-Userの違いは何ですか？
GPTBotはOpenAIモデルの学習用にページを収集し、OAI-SearchBotはChatGPT検索用にページをインデックスし、ChatGPT-Userはユーザーからのリクエストに応じてページを取得します。前者の2つはrobots.txtに従いますが、OpenAIによると、そのルールは3つ目には適用されない場合があります。
robots.txtトークンがないAIエージェントはどれですか？
ChatGPT agent、Gemini Spark、MetaのMuseです。ChatGPT agentはhttps://chatgpt.comからのWeb Bot Auth署名で検証できます。Gemini SparkはローカルのChromeモードではユーザー自身のブラウザーのように見え、Museはuser-agentが公開されていません。
リクエストが本当にGooglebotからのものか確認するには？
GoogleはGooglebotのIPアドレス範囲をJSONファイルで公開しており、このディレクトリのGooglebotの項目からリンクしています。user-agent文字列を信頼するのではなく、リクエスト元のアドレスをその範囲と照合してください。
このAIボット一覧の情報源は何ですか？
各項目には、公開されている場合は事業者のドキュメントをリンクしています。ドキュメントがないトークンは、コミュニティのai.robots.txtレジストリから取得しています。DeepSeekBot、Kimi-User、Manus-User、NovaAct、Devin、PetalBotは、事業者のドキュメントが見つからなかったため掲載していません。一覧は2026年10月1日に確認しました。