meta-webindexer nedir?

Meta AI'da arama için Meta'nın kullandığı crawler. robots.txt kurallarına uyar; Meta bunun için IP aralıkları yayımlamıyor.

robots.txt token'ı

meta-webindexer

Operatör

Meta

Amaç

Arama

robots.txt kurallarına uyar

●Evet Operatör, robots.txt kurallarına uyduğunu belirtiyor.

Operatör tarafından belgelenmiş

Evet, operatörün kendi sayfalarında.

Dokümantasyon

developers.facebook.com

meta-webindexer botunu tüm sitenizde engelleyin

User-agent: meta-webindexer
Disallow: /

İzin verin, ancak özel yolları engelleyin

User-agent: meta-webindexer
Allow: /
Disallow: /admin/

Meta tarafından sunulan diğer botlar

Oluşturucudaki robots.txt dosyasına ekleyin →