---
title: "Katalog botów AI: 40 crawlerów, tokeny i listy IP · DotsAgent"
description: "40 crawlerów i agentów AI od OpenAI, Anthropic, Google, Apple, Meta, Amazon i innych firm. Lista tokenów robots.txt, przeznaczenia, deklaracji przestrzegania zasad i adresów IP."
url: https://dotsagent.io/pl/agent-ready/bots
---

40 crawlerów i agentów

# Katalog crawlerów i agentów AI

Lista wszystkich botów AI, których istnienie udało nam się potwierdzić. Znajdziesz tu token używany w robots.txt, cel pobierania stron, deklarację operatora dotyczącą przestrzegania zasad oraz sposób weryfikacji, czy żądanie rzeczywiście pochodzi od danego bota. Tokeny znane wyłącznie z prowadzonego przez społeczność rejestru ai.robots.txt są tak oznaczone na osobnych stronach botów.

| Bot | Token | Przeznaczenie | Przestrzega robots.txt | Weryfikacja |
| --- | --- | --- | --- | --- |
| [GPTBot](https://dotsagent.io/pl/agent-ready/bots/gptbot)OpenAI | `GPTBot` | Trenowanie | — | Lista adresów IP |
| [OAI-SearchBot](https://dotsagent.io/pl/agent-ready/bots/oai-searchbot)OpenAI | `OAI-SearchBot` | Wyszukiwanie | — | Lista adresów IP |
| [ChatGPT-User](https://dotsagent.io/pl/agent-ready/bots/chatgpt-user)OpenAI | `ChatGPT-User` | Pobieranie przez użytkowników | — | Lista adresów IP |
| [OAI-AdsBot](https://dotsagent.io/pl/agent-ready/bots/oai-adsbot)OpenAI | `OAI-AdsBot` | Reklamy | — | Lista adresów IP |
| [ChatGPT agent](https://dotsagent.io/pl/agent-ready/bots/chatgpt-agent)OpenAI | Brak tokenu | Agenty | — | Podpisane żądania |
| [ClaudeBot](https://dotsagent.io/pl/agent-ready/bots/claudebot)Anthropic | `ClaudeBot` | Trenowanie | — | Lista adresów IP |
| [Claude-SearchBot](https://dotsagent.io/pl/agent-ready/bots/claude-searchbot)Anthropic | `Claude-SearchBot` | Wyszukiwanie | — | Lista adresów IP |
| [Claude-User](https://dotsagent.io/pl/agent-ready/bots/claude-user)Anthropic | `Claude-User` | Pobieranie przez użytkowników | — | Lista adresów IP |
| [Googlebot](https://dotsagent.io/pl/agent-ready/bots/googlebot)Google | `Googlebot` | Wyszukiwanie | — | Lista adresów IP |
| [Google-Extended](https://dotsagent.io/pl/agent-ready/bots/google-extended)Google | `Google-Extended` | Trenowanie | — | — |
| [Google-CloudVertexBot](https://dotsagent.io/pl/agent-ready/bots/google-cloudvertexbot)Google | `Google-CloudVertexBot` | Wyszukiwanie | — | Lista adresów IP |
| [GoogleOther](https://dotsagent.io/pl/agent-ready/bots/googleother)Google | `GoogleOther` | Trenowanie | — | Lista adresów IP |
| [Google-Agent](https://dotsagent.io/pl/agent-ready/bots/google-agent)Google | `Google-Agent` | Agenty | — | Lista adresów IP |
| [Google-GeminiNotebook](https://dotsagent.io/pl/agent-ready/bots/google-gemininotebook)Google | `Google-GeminiNotebook` | Pobieranie przez użytkowników | — | Lista adresów IP |
| [Gemini Spark](https://dotsagent.io/pl/agent-ready/bots/gemini-spark)Google | Brak tokenu | Agenty | — | — |
| [Gemini-Deep-Research](https://dotsagent.io/pl/agent-ready/bots/gemini-deep-research)Google | `Gemini-Deep-Research` | Pobieranie przez użytkowników | — | — |
| [GoogleAgent-Mariner](https://dotsagent.io/pl/agent-ready/bots/googleagent-mariner)Google | `GoogleAgent-Mariner` | Agenty | — | — |
| [Applebot](https://dotsagent.io/pl/agent-ready/bots/applebot)Apple | `Applebot` | Wyszukiwanie | — | Lista adresów IP |
| [Applebot-Extended](https://dotsagent.io/pl/agent-ready/bots/applebot-extended)Apple | `Applebot-Extended` | Trenowanie | — | — |
| [PerplexityBot](https://dotsagent.io/pl/agent-ready/bots/perplexitybot)Perplexity | `PerplexityBot` | Wyszukiwanie | — | Lista adresów IP |
| [Perplexity-User](https://dotsagent.io/pl/agent-ready/bots/perplexity-user)Perplexity | `Perplexity-User` | Pobieranie przez użytkowników | — | Lista adresów IP |
| [meta-externalagent](https://dotsagent.io/pl/agent-ready/bots/meta-externalagent)Meta | `meta-externalagent` | Trenowanie | — | — |
| [meta-webindexer](https://dotsagent.io/pl/agent-ready/bots/meta-webindexer)Meta | `meta-webindexer` | Wyszukiwanie | — | — |
| [meta-externalfetcher](https://dotsagent.io/pl/agent-ready/bots/meta-externalfetcher)Meta | `meta-externalfetcher` | Pobieranie przez użytkowników | — | — |
| [meta-externalads](https://dotsagent.io/pl/agent-ready/bots/meta-externalads)Meta | `meta-externalads` | Reklamy | — | — |
| [facebookexternalhit](https://dotsagent.io/pl/agent-ready/bots/facebookexternalhit)Meta | `facebookexternalhit` | Pobieranie przez użytkowników | — | — |
| [Muse](https://dotsagent.io/pl/agent-ready/bots/muse)Meta | Brak tokenu | Agenty | — | — |
| [Amazonbot](https://dotsagent.io/pl/agent-ready/bots/amazonbot)Amazon | `Amazonbot` | Trenowanie | — | Lista adresów IP |
| [Amzn-SearchBot](https://dotsagent.io/pl/agent-ready/bots/amzn-searchbot)Amazon | `Amzn-SearchBot` | Wyszukiwanie | — | Lista adresów IP |
| [Amzn-User](https://dotsagent.io/pl/agent-ready/bots/amzn-user)Amazon | `Amzn-User` | Pobieranie przez użytkowników | — | Lista adresów IP |
| [DuckAssistBot](https://dotsagent.io/pl/agent-ready/bots/duckassistbot)DuckDuckGo | `DuckAssistBot` | Wyszukiwanie | — | Lista adresów IP |
| [MistralAI-User](https://dotsagent.io/pl/agent-ready/bots/mistralai-user)Mistral | `MistralAI-User` | Pobieranie przez użytkowników | — | Lista adresów IP |
| [MistralAI-Index](https://dotsagent.io/pl/agent-ready/bots/mistralai-index)Mistral | `MistralAI-Index` | Wyszukiwanie | — | Lista adresów IP |
| [MistralAI-Training](https://dotsagent.io/pl/agent-ready/bots/mistralai-training)Mistral | `MistralAI-Training` | Trenowanie | — | — |
| [CCBot](https://dotsagent.io/pl/agent-ready/bots/ccbot)Common Crawl | `CCBot` | Trenowanie | — | Lista adresów IP |
| [cohere-ai](https://dotsagent.io/pl/agent-ready/bots/cohere-ai)Cohere | `cohere-ai` | Pobieranie przez użytkowników | — | — |
| [Bytespider](https://dotsagent.io/pl/agent-ready/bots/bytespider)ByteDance | `Bytespider` | Trenowanie | — | — |
| [YouBot](https://dotsagent.io/pl/agent-ready/bots/youbot)You.com | `YouBot` | Wyszukiwanie | — | — |
| [Diffbot](https://dotsagent.io/pl/agent-ready/bots/diffbot)Diffbot | `Diffbot` | Wyszukiwanie | — | — |
| [Timpibot](https://dotsagent.io/pl/agent-ready/bots/timpibot)Timpi | `Timpibot` | Trenowanie | — | — |

## Co oznaczają poszczególne przeznaczenia

- **Trenowanie**: Zbiera strony na potrzeby trenowania modeli lub ogólnego crawlowania badawczego. Google-Extended i Applebot-Extended to tokeny służące do kontroli dostępu — same nie pobierają żadnych danych.
- **Wyszukiwanie**: Indeksuje strony na potrzeby wyszukiwarki — od Google Search po wyszukiwarki odpowiedzi AI, takie jak ChatGPT search, Perplexity i DuckAssist. Zablokowanie bota wyklucza stronę z danego produktu.
- **Pobieranie przez użytkowników**: Pobiera stronę na prośbę użytkownika złożoną w czacie lub za pomocą narzędzia. Kilku operatorów informuje, że robots.txt może nie mieć zastosowania do takich żądań.
- **Agenty**: Przegląda strony i wykonuje działania w imieniu użytkownika, często w pełnej przeglądarce. Wiele takich botów nie ma tokenu i można je rozpoznać wyłącznie na podstawie podpisu — o ile w ogóle jest to możliwe.
- **Reklamy**: Sprawdza strony docelowe reklam przesłanych przez reklamodawców. Te boty nie są uwzględniane w generatorze robots.txt.

## Sprawdź, czy bot jest tym, za kogo się podaje

Ciąg user-agent można podrobić bez żadnego wysiłku. Większość dużych operatorów publikuje zakresy adresów IP używanych przez ich boty w plikach JSON oznaczonych w tabeli jako lista adresów IP. Porównaj adres żądania z listą przypisaną do danego tokenu. Samo dopasowanie nazwy nie jest wystarczającym potwierdzeniem.

Niektórzy operatorzy dokumentują też odwrotne DNS. Common Crawl informuje na przykład, że hosty CCBot są rozwiązywane do *.crawl.commoncrawl.org. Zanim zaufasz takiemu hostowi, sprawdź, czy jego nazwa rozwiązuje się z powrotem do tego samego adresu.

Agenty coraz częściej podpisują żądania za pomocą HTTP Message Signatures (RFC 9421), zgodnie z projektem Web Bot Auth. Żądanie wskazuje operatora w polu Signature-Agent. Podpis zweryfikujesz za pomocą kluczy publicznych dostępnych pod adresem /.well-known/http-message-signatures-directory w domenie tego operatora. Prawidłowy podpis potwierdza operatora, ale nie użytkownika stojącego za żądaniem ani zakres jego uprawnień.

[Utwórz robots.txt na podstawie tej listy →](https://dotsagent.io/pl/agent-ready/robots-txt)

## Pytania o crawlery AI

### Które crawlery AI ignorują robots.txt?

Zgodnie z dokumentacją ich operatorów ChatGPT-User, Perplexity-User, Google-Agent, Google-GeminiNotebook, Amzn-User, meta-externalfetcher i facebookexternalhit mogą nie przestrzegać robots.txt, głównie dlatego, że pobranie strony wywołał użytkownik. Według zgłoszeń społeczności Bytespider również nie przestrzega tych reguł.

### Czym różnią się GPTBot, OAI-SearchBot i ChatGPT-User?

GPTBot pobiera strony na potrzeby trenowania modeli OpenAI, OAI-SearchBot indeksuje strony dla wyszukiwarki ChatGPT, a ChatGPT-User pobiera stronę na prośbę użytkownika. Dwa pierwsze boty przestrzegają robots.txt. OpenAI informuje, że te reguły mogą nie dotyczyć trzeciego.

### Które agenty AI nie mają tokenu robots.txt?

ChatGPT agent, Gemini Spark i Muse od Meta. ChatGPT agent można zweryfikować za pomocą podpisu Web Bot Auth z https://chatgpt.com. Gemini Spark w lokalnym trybie Chrome wygląda jak przeglądarka użytkownika, a Muse nie ma opublikowanego user-agenta.

### Jak sprawdzić, czy żądanie naprawdę pochodzi od Googlebota?

Google publikuje zakresy adresów IP Googlebota w pliku JSON, do którego link znajduje się we wpisie Googlebota w tym katalogu. Porównaj adres żądania z tymi zakresami zamiast ufać ciągowi user-agent.

### Skąd pochodzi lista botów AI?

Każdy wpis zawiera link do dokumentacji operatora, jeśli jest dostępna. Tokeny bez dokumentacji pochodzą ze społecznościowego rejestru ai.robots.txt. Pominęliśmy DeepSeekBot, Kimi-User, Manus-User, NovaAct, Devin i PetalBot, ponieważ nie znaleźliśmy dokumentacji ich operatorów. Listę sprawdzono 1 October 2026.

Niezależne źródło informacji dla osób tworzących agentów AI. Nie jesteśmy powiązani z żadnym wymienionym tu dostawcą.

© 2026 DotsAgent · Dane sprawdzone 1 października 2026