Che cos'è meta-webindexer?

Il crawler di Meta per la ricerca in Meta AI. Rispetta robots.txt; Meta non pubblica intervalli IP per questo crawler.

Token robots.txt

meta-webindexer

Operatore

Meta

Scopo

Ricerca

Rispetta robots.txt

●Sì L'operatore dichiara che rispetta robots.txt.

Documentato dall'operatore

Sì, nelle pagine dell'operatore.

Documentazione

developers.facebook.com

Blocca meta-webindexer su tutto il sito

User-agent: meta-webindexer
Disallow: /

Consenti l'accesso, ma escludi i percorsi privati

User-agent: meta-webindexer
Allow: /
Disallow: /admin/

Altri bot di Meta

Aggiungilo a robots.txt nel generatore →