---
title: "ไดเรกทอรีบอต AI: crawler 40 รายการ, token และรายการ IP · DotsAgent"
description: "รายชื่อ AI crawler และ agent 40 รายจาก OpenAI, Anthropic, Google, Apple, Meta, Amazon และผู้ให้บริการอื่น ๆ พร้อม token สำหรับ robots.txt วัตถุประสงค์ การปฏิบัติตามกฎ และรายการ IP"
url: https://dotsagent.io/th/agent-ready/bots
---

crawler และ agent 40 ราย

# ไดเรกทอรี AI crawler และ agent

รวม AI bot ทุกรายที่เรายืนยันได้ พร้อม token สำหรับใช้ใน robots.txt วัตถุประสงค์ในการดึงข้อมูล คำยืนยันจากผู้ให้บริการว่า bot ปฏิบัติตามกฎหรือไม่ และวิธีตรวจสอบว่าคำขอมาจาก bot นั้นจริงหรือไม่ สำหรับ token ที่พบเฉพาะในทะเบียน ai.robots.txt ของชุมชน จะมีการระบุไว้ในหน้าเฉพาะของแต่ละรายการ

| Bot | Token | วัตถุประสงค์ | ปฏิบัติตาม robots.txt | ตรวจสอบ |
| --- | --- | --- | --- | --- |
| [GPTBot](https://dotsagent.io/th/agent-ready/bots/gptbot)OpenAI | `GPTBot` | การฝึกโมเดล | — | รายการ IP |
| [OAI-SearchBot](https://dotsagent.io/th/agent-ready/bots/oai-searchbot)OpenAI | `OAI-SearchBot` | การค้นหา | — | รายการ IP |
| [ChatGPT-User](https://dotsagent.io/th/agent-ready/bots/chatgpt-user)OpenAI | `ChatGPT-User` | การดึงข้อมูลโดยผู้ใช้ | — | รายการ IP |
| [OAI-AdsBot](https://dotsagent.io/th/agent-ready/bots/oai-adsbot)OpenAI | `OAI-AdsBot` | โฆษณา | — | รายการ IP |
| [ChatGPT agent](https://dotsagent.io/th/agent-ready/bots/chatgpt-agent)OpenAI | ไม่มี token | Agents | — | คำขอที่ลงลายเซ็น |
| [ClaudeBot](https://dotsagent.io/th/agent-ready/bots/claudebot)Anthropic | `ClaudeBot` | การฝึกโมเดล | — | รายการ IP |
| [Claude-SearchBot](https://dotsagent.io/th/agent-ready/bots/claude-searchbot)Anthropic | `Claude-SearchBot` | การค้นหา | — | รายการ IP |
| [Claude-User](https://dotsagent.io/th/agent-ready/bots/claude-user)Anthropic | `Claude-User` | การดึงข้อมูลโดยผู้ใช้ | — | รายการ IP |
| [Googlebot](https://dotsagent.io/th/agent-ready/bots/googlebot)Google | `Googlebot` | การค้นหา | — | รายการ IP |
| [Google-Extended](https://dotsagent.io/th/agent-ready/bots/google-extended)Google | `Google-Extended` | การฝึกโมเดล | — | — |
| [Google-CloudVertexBot](https://dotsagent.io/th/agent-ready/bots/google-cloudvertexbot)Google | `Google-CloudVertexBot` | การค้นหา | — | รายการ IP |
| [GoogleOther](https://dotsagent.io/th/agent-ready/bots/googleother)Google | `GoogleOther` | การฝึกโมเดล | — | รายการ IP |
| [Google-Agent](https://dotsagent.io/th/agent-ready/bots/google-agent)Google | `Google-Agent` | Agents | — | รายการ IP |
| [Google-GeminiNotebook](https://dotsagent.io/th/agent-ready/bots/google-gemininotebook)Google | `Google-GeminiNotebook` | การดึงข้อมูลโดยผู้ใช้ | — | รายการ IP |
| [Gemini Spark](https://dotsagent.io/th/agent-ready/bots/gemini-spark)Google | ไม่มี token | Agents | — | — |
| [Gemini-Deep-Research](https://dotsagent.io/th/agent-ready/bots/gemini-deep-research)Google | `Gemini-Deep-Research` | การดึงข้อมูลโดยผู้ใช้ | — | — |
| [GoogleAgent-Mariner](https://dotsagent.io/th/agent-ready/bots/googleagent-mariner)Google | `GoogleAgent-Mariner` | Agents | — | — |
| [Applebot](https://dotsagent.io/th/agent-ready/bots/applebot)Apple | `Applebot` | การค้นหา | — | รายการ IP |
| [Applebot-Extended](https://dotsagent.io/th/agent-ready/bots/applebot-extended)Apple | `Applebot-Extended` | การฝึกโมเดล | — | — |
| [PerplexityBot](https://dotsagent.io/th/agent-ready/bots/perplexitybot)Perplexity | `PerplexityBot` | การค้นหา | — | รายการ IP |
| [Perplexity-User](https://dotsagent.io/th/agent-ready/bots/perplexity-user)Perplexity | `Perplexity-User` | การดึงข้อมูลโดยผู้ใช้ | — | รายการ IP |
| [meta-externalagent](https://dotsagent.io/th/agent-ready/bots/meta-externalagent)Meta | `meta-externalagent` | การฝึกโมเดล | — | — |
| [meta-webindexer](https://dotsagent.io/th/agent-ready/bots/meta-webindexer)Meta | `meta-webindexer` | การค้นหา | — | — |
| [meta-externalfetcher](https://dotsagent.io/th/agent-ready/bots/meta-externalfetcher)Meta | `meta-externalfetcher` | การดึงข้อมูลโดยผู้ใช้ | — | — |
| [meta-externalads](https://dotsagent.io/th/agent-ready/bots/meta-externalads)Meta | `meta-externalads` | โฆษณา | — | — |
| [facebookexternalhit](https://dotsagent.io/th/agent-ready/bots/facebookexternalhit)Meta | `facebookexternalhit` | การดึงข้อมูลโดยผู้ใช้ | — | — |
| [Muse](https://dotsagent.io/th/agent-ready/bots/muse)Meta | ไม่มี token | Agents | — | — |
| [Amazonbot](https://dotsagent.io/th/agent-ready/bots/amazonbot)Amazon | `Amazonbot` | การฝึกโมเดล | — | รายการ IP |
| [Amzn-SearchBot](https://dotsagent.io/th/agent-ready/bots/amzn-searchbot)Amazon | `Amzn-SearchBot` | การค้นหา | — | รายการ IP |
| [Amzn-User](https://dotsagent.io/th/agent-ready/bots/amzn-user)Amazon | `Amzn-User` | การดึงข้อมูลโดยผู้ใช้ | — | รายการ IP |
| [DuckAssistBot](https://dotsagent.io/th/agent-ready/bots/duckassistbot)DuckDuckGo | `DuckAssistBot` | การค้นหา | — | รายการ IP |
| [MistralAI-User](https://dotsagent.io/th/agent-ready/bots/mistralai-user)Mistral | `MistralAI-User` | การดึงข้อมูลโดยผู้ใช้ | — | รายการ IP |
| [MistralAI-Index](https://dotsagent.io/th/agent-ready/bots/mistralai-index)Mistral | `MistralAI-Index` | การค้นหา | — | รายการ IP |
| [MistralAI-Training](https://dotsagent.io/th/agent-ready/bots/mistralai-training)Mistral | `MistralAI-Training` | การฝึกโมเดล | — | — |
| [CCBot](https://dotsagent.io/th/agent-ready/bots/ccbot)Common Crawl | `CCBot` | การฝึกโมเดล | — | รายการ IP |
| [cohere-ai](https://dotsagent.io/th/agent-ready/bots/cohere-ai)Cohere | `cohere-ai` | การดึงข้อมูลโดยผู้ใช้ | — | — |
| [Bytespider](https://dotsagent.io/th/agent-ready/bots/bytespider)ByteDance | `Bytespider` | การฝึกโมเดล | — | — |
| [YouBot](https://dotsagent.io/th/agent-ready/bots/youbot)You.com | `YouBot` | การค้นหา | — | — |
| [Diffbot](https://dotsagent.io/th/agent-ready/bots/diffbot)Diffbot | `Diffbot` | การค้นหา | — | — |
| [Timpibot](https://dotsagent.io/th/agent-ready/bots/timpibot)Timpi | `Timpibot` | การฝึกโมเดล | — | — |

## ความหมายของวัตถุประสงค์

- **การฝึกโมเดล**: รวบรวมหน้าเว็บเพื่อฝึกโมเดลหรือ crawl เพื่อการวิจัยทั่วไป Google-Extended และ Applebot-Extended เป็น control token ที่ไม่ดึงข้อมูลด้วยตัวเอง
- **การค้นหา**: จัดทำดัชนีหน้าเว็บสำหรับผลิตภัณฑ์ค้นหา ตั้งแต่ Google Search ไปจนถึงระบบ AI ที่ตอบคำถาม เช่น ChatGPT search, Perplexity และ DuckAssist การบล็อก bot จะทำให้เว็บไซต์ของคุณไม่ปรากฏในผลิตภัณฑ์นั้น
- **การดึงข้อมูลโดยผู้ใช้**: ดึงหน้าเว็บตามคำขอของผู้ใช้ผ่านแชตหรือเครื่องมือ ผู้ให้บริการหลายรายระบุว่า robots.txt อาจไม่มีผลกับคำขอเหล่านี้
- **Agents**: เปิดดูเว็บและดำเนินการแทนผู้ใช้ โดยมักทำงานผ่านเบราว์เซอร์เต็มรูปแบบ หลายรายไม่มี token และอาจตรวจสอบได้จากลายเซ็นเท่านั้น หากมี
- **โฆษณา**: ตรวจสอบหน้า Landing Page ของโฆษณาที่ผู้ลงโฆษณาส่งมา ไม่รวมรายการเหล่านี้ในตัวสร้าง robots.txt

## ตรวจสอบว่าบอตเป็นตัวจริงตามที่อ้างหรือไม่

ปลอมสตริง user-agent ได้โดยไม่มีค่าใช้จ่าย ผู้ให้บริการรายใหญ่ส่วนใหญ่เผยแพร่ช่วง IP ที่บอตใช้เป็นไฟล์ JSON โดยระบุไว้ในตารางว่าเป็นรายการ IP ให้เปรียบเทียบ address ของคำขอกับรายการของ token นั้น และอย่าถือว่าการที่ชื่อเพียงอย่างเดียวตรงกันเป็นการยืนยันตัวตน

ผู้ให้บริการบางรายยังบันทึกข้อมูล reverse DNS ไว้ด้วย ตัวอย่างเช่น Common Crawl ระบุว่าโฮสต์ของ CCBot จะแปลงชื่อเป็น *.crawl.commoncrawl.org ให้ตรวจสอบว่า hostname แปลงกลับเป็น address เดิมก่อนเชื่อถือ

Agents หันมาเซ็นคำขอด้วย HTTP Message Signatures (RFC 9421) ตามร่าง Web Bot Auth มากขึ้น คำขอจะระบุผู้ให้บริการไว้ใน Signature-Agent และคุณตรวจสอบลายเซ็นได้ด้วย public keys ที่ /.well-known/http-message-signatures-directory ของโดเมนนั้น ลายเซ็นที่ถูกต้องยืนยันผู้ให้บริการได้ แต่ไม่ได้ยืนยันผู้ใช้ที่อยู่เบื้องหลังหรือสิ่งที่ผู้ใช้นั้นทำได้

[สร้าง robots.txt จากรายการนี้ →](https://dotsagent.io/th/agent-ready/robots-txt)

## คำถามเกี่ยวกับ AI crawler

### AI crawler ตัวใดบ้างที่ไม่ทำตาม robots.txt?

ตามเอกสารของผู้ให้บริการ ChatGPT-User, Perplexity-User, Google-Agent, Google-GeminiNotebook, Amzn-User, meta-externalfetcher และ facebookexternalhit อาจไม่ทำตาม robots.txt ส่วนใหญ่เพราะเป็นการดึงข้อมูลที่ผู้ใช้เป็นผู้เรียกใช้ รายงานจากชุมชนระบุว่า Bytespider ไม่เคารพ robots.txt

### GPTBot, OAI-SearchBot และ ChatGPT-User ต่างกันอย่างไร?

GPTBot รวบรวมหน้าเว็บเพื่อฝึกโมเดลของ OpenAI, OAI-SearchBot จัดทำดัชนีหน้าเว็บสำหรับการค้นหาของ ChatGPT และ ChatGPT-User ดึงหน้าเว็บเมื่อมีคนร้องขอ สองตัวแรกทำตาม robots.txt ส่วน OpenAI ระบุว่ากฎอาจไม่มีผลกับตัวที่สาม

### AI agent ตัวใดบ้างที่ไม่มี token สำหรับ robots.txt?

ChatGPT agent, Gemini Spark และ Muse ของ Meta โดยยืนยัน ChatGPT agent ได้จากลายเซ็น Web Bot Auth ที่มาจาก https://chatgpt.com ส่วน Gemini Spark ในโหมด Chrome ภายในเครื่องจะมีลักษณะเหมือนเบราว์เซอร์ของผู้ใช้เอง และ Muse ไม่มี user agent ที่เผยแพร่ไว้

### จะตรวจสอบได้อย่างไรว่าคำขอมาจาก Googlebot จริง?

Google เผยแพร่ช่วง IP ของ Googlebot เป็นไฟล์ JSON ซึ่งลิงก์ไว้ในรายการของ Googlebot ในไดเรกทอรีนี้ ให้ตรวจสอบ address ของคำขอกับช่วง IP เหล่านั้น แทนที่จะเชื่อสตริง user-agent

### รายการ AI bot นี้มาจากไหน?

แต่ละรายการจะลิงก์ไปยังเอกสารของผู้ให้บริการ หากมี ส่วน token ที่ไม่มีเอกสารอ้างอิงมาจากทะเบียน ai.robots.txt ของชุมชน เราไม่รวม DeepSeekBot, Kimi-User, Manus-User, NovaAct, Devin และ PetalBot เพราะไม่พบเอกสารจากผู้ให้บริการ รายการนี้ตรวจสอบเมื่อ 1 October 2026

แหล่งอ้างอิงอิสระสำหรับผู้สร้าง AI agent ไม่มีส่วนเกี่ยวข้องกับผู้ให้บริการที่กล่าวถึง

© 2026 DotsAgent · ตรวจสอบข้อมูลเมื่อ 1 ตุลาคม 2569