---
title: "AI クローラー・エージェント向け robots.txt 生成ツール · DotsAgent"
description: "検索を維持しながら AI の学習を拒否する robots.txt を作成できます。用途別に分類した35個の bot token、Content-Signal 行、非公開パス、サイトマップ行に対応。"
url: https://dotsagent.io/ja/agent-ready/robots-txt
---

サイトを公開 · ジェネレーター

# AI bot 向け robots.txt 生成ツール

AI bot の種類ごとにポリシーを選び、個別のクローラーを上書きして、RFC 9309 に準拠したファイルをコピーできます。学習、検索、ユーザー起点の取得にはそれぞれ別の token が使われるため、ある種類を拒否しながら別の種類を許可できます。

`/robots.txt`

```
# サイト全体へのアクセスをブロックした AI クローラー
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: GoogleOther
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: MistralAI-Training
User-agent: CCBot
User-agent: Bytespider
User-agent: Timpibot
Disallow: /

# 許可した AI クローラー。非公開パスは除外
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Googlebot
User-agent: Google-CloudVertexBot
User-agent: Google-Agent
User-agent: Google-GeminiNotebook
User-agent: Gemini-Deep-Research
User-agent: GoogleAgent-Mariner
User-agent: Applebot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: facebookexternalhit
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: cohere-ai
User-agent: YouBot
User-agent: Diffbot
Disallow: /admin/
Disallow: /api/

# その他すべてのクローラー
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Disallow: /admin/
Disallow: /api/

Sitemap: https://example.com/sitemap.xml
```

robots.txt は任意のルールです。ChatGPT-User、Perplexity-User など、ユーザーの操作でページを取得するクローラーはルールが適用されない場合があると説明しており、トークンを持たないエージェントもいます。アクセスを確実にブロックするには、公開されている IP リストやシグネチャとリクエストを照合し、ファイアウォールまたは WAF で拒否してください。

[ディレクトリですべての bot を見る →](https://dotsagent.io/ja/agent-ready/bots)

## 生成されたファイルの仕組み

### クローラーは自分のグループに従う

User-agent 行に自分のトークンがあるクローラーは、そのグループのルールに従い、User-agent: * 以下のルールは無視します。そのため、このジェネレーターでは許可する bot ごとに非公開パスのルールを繰り返し、ブロックする bot には Disallow: / を指定します。

### クロールを行わないトークンもある

Google-Extended と Applebot-Extended には、それぞれ独自の user agent がありません。ページを取得するのは Googlebot と Applebot です。これらの拡張トークンは、コンテンツをモデルのトレーニングに使ってよいかを Google と Apple に伝えます。Google は Gemini のグラウンディングにも Google-Extended を適用します。

### 多くの運営元はトレーニングと検索を分けている

OpenAI、Anthropic、Amazon、Mistral はそれぞれ、トレーニング用と検索用に別々のトークンを運用しています。そのため、「No training」プリセットを選んでも、各社の検索サービスには引き続き掲載されます。例外は Meta で、meta-externalagent はトレーニングとインデックス作成の両方を対象とします。

### Applebot は Googlebot のルールを使う

ファイルに Applebot グループがない場合、Apple によると Applebot は代わりに Googlebot のルールに従います。Applebot と Amazonbot は Crawl-delay も無視します。一方、Anthropic によると ClaudeBot はこれに従います。

## robots.txt と AI bot に関する質問

### ChatGPT 検索を許可したまま GPTBot をブロックするには？

GPTBot を Disallow し、OAI-SearchBot は許可します。GPTBot はトレーニングデータを収集し、OAI-SearchBot は ChatGPT 検索用にページをインデックスし、ChatGPT-User はユーザーのリクエストに応じてページを取得します。OpenAI は3つすべてを1つのページで説明しており、それぞれに個別の IP リストがあります。

### Google-Extended をブロックすると、サイトは Google 検索から除外されますか？

Google-Extended は独自の user agent を持たない制御用トークンで、クロールは Googlebot が行います。Google-Extended を Disallow にすると、Google がコンテンツを Gemini のトレーニングやグラウンディングに使うのを防げます。検索用にクロールされる範囲は、Googlebot のルールで決まります。

### AI クローラーは Crawl-delay に従いますか？

従うものもあります。Anthropic は ClaudeBot が従うと説明していますが、Apple と Amazon によると Applebot と Amazonbot は従いません。確実に制限するには、サーバー側でレート制限を設定してください。

### ブロックしたのに ChatGPT-User がアクセスするのはなぜですか？

OpenAI によると、ユーザーがページをリクエストした場合、ChatGPT-User には robots.txt のルールが適用されないことがあります。Perplexity-User、Amzn-User、meta-externalfetcher にも同様の注意事項があります。運営元が IP リストを公開している場合は、リクエストと照合し、ファイアウォールでブロックしてください。

### robots.txt の Content-Signal とは何ですか？

取得後のコンテンツの利用方法を、search、ai-input、ai-trainの3つのシグナルで示します。それぞれyesまたはnoを設定します。これは希望を示すもので、アクセスを禁止するものではありません。CloudflareのMarkdown for Agentsはデフォルトでai-train=yes、search=yes、ai-input=yesを追加するため、この機能を使う場合は出力を確認してください。

## 出典

1. [rfc-editor.org](https://www.rfc-editor.org/rfc/rfc9309)/rfc/rfc9309
2. [contentsignals.org](https://contentsignals.org/)/
3. [developers.google.com](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)/search/docs/crawling-indexing/google-common-crawlers

AIエージェント開発者向けの独立したリファレンスです。ここに記載されているいずれのベンダーとも提携していません。

© 2026 DotsAgent · 確認日: 2026年10月1日