Wat is meta-externalagent?

Metas crawler voor het trainen van AI-modellen en voor indexering. Volgt robots.txt.

robots.txt-token

meta-externalagent

Operator

Meta

Doel

Training

Volgt robots.txt

●Ja De beheerder zegt dat deze robots.txt volgt.

Gedocumenteerd door operator

Ja, op de eigen pagina's van de beheerder.

Documentatie

developers.facebook.com

Eén token geldt voor beide toepassingen. Blokkeren voor training stopt dus ook de indexering. Meta publiceert geen IP-bereiken.

Blokkeer meta-externalagent op je hele site

User-agent: meta-externalagent
Disallow: /

Sta deze toe, maar sluit privé-paden uit

User-agent: meta-externalagent
Allow: /
Disallow: /admin/

Andere bots van Meta

Voeg deze toe aan een robots.txt in de generator →