Wat is meta-webindexer?

Metas crawler voor zoekopdrachten in Meta AI. Volgt robots.txt; Meta publiceert hiervoor geen IP-bereiken.

robots.txt-token

meta-webindexer

Operator

Meta

Doel

Zoeken

Volgt robots.txt

●Ja De beheerder zegt dat deze robots.txt volgt.

Gedocumenteerd door operator

Ja, op de eigen pagina's van de beheerder.

Documentatie

developers.facebook.com

Blokkeer meta-webindexer op je hele site

User-agent: meta-webindexer
Disallow: /

Sta deze toe, maar sluit privé-paden uit

User-agent: meta-webindexer
Allow: /
Disallow: /admin/

Andere bots van Meta

Voeg deze toe aan een robots.txt in de generator →