Meta · Ophalen door gebruikers
Wat is meta-externalfetcher?
Haalt pagina's op verzoek van een gebruiker op, onder meer voor de agentfuncties van Meta.
- robots.txt-token
meta-externalfetcher- Operator
- Meta
- Doel
- Ophalen door gebruikers
- Volgt robots.txt
- Nee De beheerder zegt dat robots.txt mogelijk niet van toepassing is, of uit meldingen van de community blijkt dat deze het negeert.
- Gedocumenteerd door operator
- Ja, op de eigen pagina's van de beheerder.
- Documentatie
- developers.facebook.com
Volgens Meta kan deze fetcher robots.txt omzeilen. Meta publiceert geen IP-bereiken, waardoor er weinig mogelijkheden zijn om hem te blokkeren.
Blokkeer meta-externalfetcher op je hele site
User-agent: meta-externalfetcher
Disallow: /
Sta deze toe, maar sluit privé-paden uit
User-agent: meta-externalfetcher
Allow: /
Disallow: /admin/
Deze bot haalt pagina's op voor een persoon of voor een agent die namens iemand handelt. Verschillende beheerders zeggen dat robots.txt mogelijk niet van toepassing is op zulke verzoeken. Controleer daarom de regel hierboven en blokkeer de bot op je firewall als dat belangrijk is.
Andere bots van Meta
Voeg deze toe aan een robots.txt in de generator →