Elenco di crawler e agenti AI

Tutti i bot AI di cui siamo riusciti a verificare l'esistenza, con il token da usare in robots.txt, le pagine che recuperano, l'eventuale dichiarazione dell'operatore sul rispetto delle regole e i metodi per verificare che una richiesta provenga davvero da loro. I token noti solo grazie al registro comunitario ai.robots.txt sono indicati come tali nelle rispettive pagine.

Significato delle finalità

Addestramento

Raccoglie pagine per addestrare modelli o per attività di crawling di ricerca generale. Google-Extended e Applebot-Extended sono token di controllo che non recuperano direttamente alcun contenuto.

Ricerca

Indicizza pagine per un prodotto di ricerca, da Google Search ai motori di risposta AI come ChatGPT search, Perplexity e DuckAssist. Se lo blocchi, il tuo sito non apparirà in quel prodotto.

Richieste degli utenti

Recupera una pagina su richiesta di una persona, in una chat o tramite uno strumento. Diversi operatori dichiarano che robots.txt potrebbe non essere applicabile a queste richieste.

Agenti

Naviga e agisce per conto dell'utente, spesso tramite un browser completo. Molti non hanno un token e possono essere identificati solo tramite firma, se possibile.

Annunci

Verifica le pagine di destinazione degli annunci inviate dagli inserzionisti. Questi bot non sono inclusi nel generatore di robots.txt.

Verifica che un bot sia davvero chi dice di essere

Una stringa user-agent si falsifica facilmente. La maggior parte dei grandi operatori pubblica gli intervalli IP usati dai propri bot in file JSON, indicati nella tabella come elenco IP. Confronta l'indirizzo della richiesta con l'elenco associato a quel token e considera non verificata una corrispondenza basata solo sul nome.

Alcuni operatori documentano anche il DNS inverso. Common Crawl, per esempio, dichiara che gli host di CCBot si risolvono in *.crawl.commoncrawl.org; prima di fidarti, verifica che il nome host si risolva di nuovo nello stesso indirizzo.

Gli agenti firmano sempre più spesso le richieste con HTTP Message Signatures (RFC 9421), secondo la bozza Web Bot Auth. La richiesta indica l'operatore in Signature-Agent e la verifica va eseguita con le chiavi pubbliche disponibili all'indirizzo /.well-known/http-message-signatures-directory del dominio. Una firma valida dimostra l'identità dell'operatore, non quella dell'utente né ciò che l'utente può fare.

Crea un robots.txt da questo elenco →