[{"data":1,"prerenderedAt":197},["ShallowReactive",2],{"copy:nl:site:":3,"copy:nl:agentweb:robots,ui":122,"copy:nl:site:common":195},{"common":4,"nav":16,"footer":44,"home":51,"error":115},{"skip":5,"menu":6,"language":7,"sections":8,"footer":9,"tool":10,"home":11,"breadcrumbs":12,"copy":13,"copied":14,"download":15},"Ga naar de inhoud","Menu","Taal","Secties","Voettekst","tool","Home","Broodkruimelnavigatie","Kopiëren","Gekopieerd","Downloaden",{"groups":17,"items":25},{"build":18,"connect":19,"instruct":20,"run":21,"web":22,"secure":23,"track":24},"Bouwen","Verbinden","Instrueren","Uitvoeren","Je website openstellen","Beveiligen","Volgen",{"models":26,"cost":27,"frameworks":28,"mcp":29,"mcpConfig":30,"mcpClients":31,"agentsMd":32,"files":33,"openclaw":34,"agentReady":35,"llmsTxt":36,"robotsTxt":37,"apiCatalog":38,"bots":39,"security":40,"incidents":41,"checklist":42,"changelog":43},"Modellen en API-prijzen","Agentkosten berekenen","Frameworks en SDK's","MCP-servers","MCP-configgenerator","MCP-clients","AGENTS.md-generator","Instructiebestanden","OpenClaw zelf hosten","Websites voor agents","llms.txt-generator","robots.txt voor AI-bots","API-catalogusgenerator","AI-botoverzicht","Agentbeveiliging","Incidentenlogboek","Beveiligingschecklist","Wijzigingslogboek",{"about":45,"privacy":46,"terms":47,"sitemap":48,"disclaimer":49,"checked":50},"Over","Privacy","Voorwaarden","Sitemap","Onafhankelijke referentie voor iedereen die AI-agents bouwt. Niet verbonden aan een van de genoemde leveranciers.","Feiten gecontroleerd op {date}",{"seo":52,"eyebrow":55,"title":56,"lead":57,"ctaMcp":58,"ctaCost":59,"ctaAgents":60,"sheetLabel":61,"sheetTitle":62,"sheet":63,"sheetNote":69,"sectionsTitle":70,"sections":71,"latestTitle":98,"allChanges":99,"rulesTitle":100,"rules":101,"aboutLink":114},{"title":53,"description":54},"DotsAgent: naslagwerk en tools voor AI-agents","LLM API-prijzen, een kostencalculator voor agents, MCP-configuraties voor 13 clients, generators voor AGENTS.md en llms.txt, en beveiligingsnotities voor agents. Gratis, in 18 talen.","Voor developers die AI-agents bouwen","Naslagwerk voor bouwers van agents","Prijzen, protocollen, configuratiebestanden en beveiligingsnotities voor agentontwikkeling, allemaal gecontroleerd aan de hand van de documentatie van de leverancier. Zoek een feit op, genereer het bestand dat je nodig hebt en ga weer aan de slag met je code.","Genereer een MCP-configuratie","Bereken de prijs van een agenttaak","Schrijf AGENTS.md","Actuele cijfers","Stand van zaken in de stack",{"mcp":64,"openclaw":65,"cheapest":66,"models":67,"servers":29,"bots":68},"MCP-specificatie","OpenClaw","Goedkoopste model, $\u002FM input\u002Foutput","Geprijsde modellen","AI-bots bijgehouden","Elk cijfer is handmatig gecontroleerd aan de hand van de documentatie van de leverancier.","Wat je op de site vindt",{"models":72,"mcp":76,"instructions":79,"frameworks":82,"openclaw":85,"agentReady":88,"security":91,"changelog":94},{"title":73,"body":74,"unit":75},"Modellen en prijzen","Prijzen voor input-, output- en gecachte tokens per miljoen, naast elkaar, met een calculator voor volledige agent-runs.","modellen",{"title":29,"body":77,"unit":78},"Een catalogus van Model Context Protocol-servers en een configuratiegenerator die voor elke client het juiste bestand maakt.","servers",{"title":33,"body":80,"unit":81},"Maak een AGENTS.md en bekijk hoe elke tool CLAUDE.md, .cursor\u002Frules en vergelijkbare bestanden leest.","bestandsindelingen",{"title":28,"body":83,"unit":84},"Vergelijk agent-frameworks en SDK's van leveranciers op taal, licentie, MCP-ondersteuning en functies voor meerdere agents.","frameworks",{"title":34,"body":86,"unit":87},"Installeer, configureer en update OpenClaw stap voor stap op je eigen machine of server.","huidige release",{"title":35,"body":89,"unit":90},"Genereer llms.txt, robots.txt-regels voor AI-crawlers en een api-catalog, en zoek bots op via hun user-agent.","bots vermeld",{"title":40,"body":92,"unit":93},"De OWASP-risico's voor agents, een logboek met echte incidenten en een checklist die je vóór de lancering kunt afvinken.","incidenten geregistreerd",{"title":95,"body":96,"unit":97},"API-changelog","Gedateerde wijzigingen in model-API's, SDK's en protocollen, telkens met een link naar de aankondiging van de leverancier.","vermeldingen","Nieuwste wijzigingen","Alle wijzigingen","Zo houden we de informatie actueel",[102,105,108,111],{"title":103,"body":104},"Feiten met bronvermelding.","Bij elke prijs, versie en flag staat een link naar de pagina van de leverancier waar de informatie vandaan komt, zodat u die zelf kunt controleren.",{"title":106,"body":107},"Controles met datum.","Op elke pagina staat wanneer de informatie voor het laatst is gecontroleerd. Verouderde vermeldingen controleren we opnieuw of verwijderen we.",{"title":109,"body":110},"Geen betaalde plaatsingen.","Niemand betaalt om vermeld te worden, hoger te eindigen of gunstiger beschreven te worden.",{"title":112,"body":113},"Tools draaien in uw browser.","Generators en rekenmachines werken lokaal. Wat u invoert, wordt niet naar een server verzonden.","Over DotsAgent",{"title":116,"body":117,"home":118,"popular":119,"failed":120,"failedBody":121},"Pagina niet gevonden","Dit adres komt niet overeen met een pagina. De pagina is mogelijk verplaatst, of de link bevat een typefout.","Ga naar de startpagina","Populaire tools","Er is iets misgegaan","De pagina kon aan onze kant niet worden geladen. Probeer het over een minuut opnieuw of ga naar de startpagina.",{"robots":123,"ui":186},{"seo":124,"crumb":37,"eyebrow":127,"title":128,"lead":129,"form":130,"presets":139,"purposeNotes":143,"comments":148,"signalNote":152,"limits":153,"botsLink":154,"explainTitle":155,"explain":156,"faqTitle":169,"faq":170},{"title":125,"description":126},"robots.txt-generator voor AI-crawlers en -agents","Stel een robots.txt samen die AI-training blokkeert, maar zoekmachines toegang geeft: 35 bot-tokens, gegroepeerd op doel, Content-Signal-regels, privé-paden en een sitemapregel.","Open je site · generator","robots.txt-generator voor AI-bots","Kies een beleid voor elke soort AI-bot, stel uitzonderingen in voor afzonderlijke crawlers en kopieer een bestand dat voldoet aan RFC 9309. Trainingsbots, zoekbots en fetchers die op verzoek van een gebruiker werken, gebruiken afzonderlijke tokens. Zo kun je de ene weigeren en de andere toelaten.",{"preset":131,"allow":132,"block":133,"tapHint":134,"unset":135,"disallow":136,"disallowHint":137,"sitemap":138},"Begin met","Toestaan","Blokkeren","Klik op een bot om de instelling van de groep om te keren.","niet ingesteld","Privé-paden","Eén pad per regel. Toegestane bots en alle andere crawlers krijgen geen toegang tot deze paden.","Sitemap-URL",{"open":140,"noTraining":141,"closed":142},"Alles toestaan","Alleen training blokkeren","Alle AI-bots blokkeren",{"training":144,"search":145,"user":146,"agent":147},"Als je deze bots blokkeert, geef je aan dat deze aanbieders je pagina's niet mogen gebruiken voor modeltraining. Je zoekresultaten blijven ongewijzigd.","Als je deze blokkeert, blokkeer je ook Googlebot en Applebot. Daardoor verdwijnt je site uit Google Search en uit de resultaten van Siri, Spotlight en Safari van Apple.","Deze halen een pagina op omdat iemand daarom heeft gevraagd. Verschillende beheerders zeggen dat robots.txt mogelijk niet voor hen geldt. Een blokkade is hier dus een verzoek, geen garantie.","Google-Agent negeert robots.txt doorgaans en de meeste browse-agents hebben helemaal geen token. In de praktijk verandert deze groep dus weinig.",{"blocked":149,"allowed":150,"everyone":151},"AI-crawlers geblokkeerd voor de hele site","Toegestane AI-crawlers, privépaden uitgesloten","Alle overige crawlers","Content-Signal geeft aan hoe opgehaalde pagina's mogen worden gebruikt: search voor zoekresultaten, ai-input voor het genereren van AI-antwoorden en ai-train voor het trainen van modellen. Het is afkomstig uit het CC0-beleid van Cloudflare en geeft een voorkeur aan, maar blokkeert niets.","robots.txt is vrijwillig. ChatGPT-User, Perplexity-User en andere fetchers die door gebruikers worden gestart, zeggen dat de regels mogelijk niet voor hen gelden. Sommige agents hebben helemaal geen token. Om een blokkade af te dwingen, kun je verzoeken vergelijken met gepubliceerde IP-lijsten of signatures en ze bij je firewall of WAF weigeren.","Bekijk alle bots in de directory","Hoe het gegenereerde bestand werkt",[157,160,163,166],{"title":158,"body":159},"Een crawler volgt zijn eigen groep","Een crawler die zijn token vindt in een User-agent-regel, volgt die groep en slaat de regels onder User-agent: * over. Daarom herhaalt de generator je privépaden voor bots die je bij naam toestaat en geeft hij geblokkeerde bots één Disallow: \u002F.",{"title":161,"body":162},"Sommige tokens crawlen nooit","Google-Extended en Applebot-Extended hebben geen eigen user agent. Googlebot en Applebot halen de content op. De extended-tokens geven Google en Apple aan of die content hun modellen mag trainen; Google past Google-Extended ook toe op Gemini-grounding.",{"title":164,"body":165},"De meeste beheerders scheiden training en zoeken","OpenAI, Anthropic, Amazon en Mistral gebruiken elk aparte tokens voor training en zoeken. Met de preset No training blijf je dus beschikbaar in hun zoekproducten. Meta is de uitzondering: meta-externalagent wordt gebruikt voor zowel training als indexering.",{"title":167,"body":168},"Applebot valt terug op Googlebot","Als je bestand geen Applebot-groep bevat, volgt Applebot volgens Apple in plaats daarvan je Googlebot-regels. Applebot negeert ook Crawl-delay, net als Amazonbot, terwijl Anthropic zegt dat ClaudeBot deze instelling respecteert.","Vragen over robots.txt en AI-bots",[171,174,177,180,183],{"q":172,"a":173},"Hoe blokkeer ik GPTBot zonder uit ChatGPT-zoekresultaten te verdwijnen?","Blokkeer GPTBot en laat OAI-SearchBot toe. GPTBot verzamelt trainingsdata, OAI-SearchBot indexeert pagina's voor ChatGPT-zoekresultaten en ChatGPT-User haalt pagina's op waar iemand om vraagt. OpenAI documenteert ze alle drie op één pagina, elk met een eigen IP-lijst.",{"q":175,"a":176},"Verdwijnt mijn site uit Google Search als ik Google-Extended blokkeer?","Google-Extended is een controletoken zonder eigen user agent; Googlebot voert de crawls uit. Als je Google-Extended blokkeert, geef je Google aan je content niet te gebruiken voor Gemini-training en -grounding. Je Googlebot-regels bepalen welke pagina's voor Search worden gecrawld.",{"q":178,"a":179},"Houden AI-crawlers zich aan Crawl-delay?","Sommige wel. Anthropic zegt dat ClaudeBot zich eraan houdt, terwijl Apple en Amazon zeggen dat Applebot en Amazonbot dat niet doen. Rate limiting op je server is de betrouwbaarste optie.",{"q":181,"a":182},"Waarom bezoekt ChatGPT-User mijn site nog steeds nadat ik het heb geblokkeerd?","OpenAI zegt dat de regels in robots.txt mogelijk niet gelden voor ChatGPT-User, omdat iemand om de pagina heeft gevraagd. Voor Perplexity-User, Amzn-User en meta-externalfetcher gelden vergelijkbare voorbehouden. Als de beheerder een IP-lijst publiceert, vergelijk verzoeken daarmee en blokkeer ze bij je firewall.",{"q":184,"a":185},"Wat doet Content-Signal in robots.txt?","Dit geeft aan hoe content na het ophalen mag worden gebruikt, via drie signalen: search, ai-input en ai-train, die elk op yes of no staan. Het geeft een voorkeur aan, maar blokkeert niets. Cloudflare's Markdown for Agents voegt standaard ai-train=yes, search=yes en ai-input=yes toe. Controleer dus de uitvoer als je die functie gebruikt.",{"crumb":187,"purposes":188,"sources":194},"Sites voor agents",{"training":189,"search":190,"user":191,"agent":192,"ads":193},"Training","Zoeken","Ophalen door gebruikers","Agents","Advertenties","Bronnen",{"common":196},{"skip":5,"menu":6,"language":7,"sections":8,"footer":9,"tool":10,"home":11,"breadcrumbs":12,"copy":13,"copied":14,"download":15},1790863366904]