Google · 에이전트
Google-Agent이란?
사용자가 작업을 요청하면 Google 인프라에서 실행되는 에이전트를 위해 페이지를 가져옵니다. Google에 따르면 사용자의 요청으로 실행되는 fetcher는 일반적으로 robots.txt를 무시합니다.
- robots.txt 토큰
Google-Agent- 운영자
- 목적
- 에이전트
- robots.txt 준수
- 아니요 운영자는 robots.txt가 적용되지 않을 수 있다고 밝히거나, 커뮤니티 보고에 따르면 이를 무시합니다.
- 운영자 문서
- 예, 운영자의 공식 페이지에 나와 있습니다.
- 공개된 IP 목록
- developers.google.com/static/crawling/ipranges/user-triggered-agents.json
- 문서
- developers.google.com
Google은 이러한 요청에 사용할 Web Bot Auth ID https://agent.bot.goog를 시험하고 있습니다.
사이트 전체에서 Google-Agent 차단
User-agent: Google-Agent
Disallow: /
허용하되 비공개 경로는 제외
User-agent: Google-Agent
Allow: /
Disallow: /admin/
이 봇은 사용자를 위해 또는 사용자를 대신하는 에이전트를 위해 페이지를 가져옵니다. 일부 운영자는 이러한 요청에는 robots.txt가 적용되지 않을 수 있다고 밝히므로, 중요한 경우 위 내용을 확인하고 방화벽에서 차단하세요.
Google의 다른 봇
GooglebotGoogle-ExtendedGoogle-CloudVertexBotGoogleOtherGoogle-GeminiNotebookGemini SparkGemini-Deep-ResearchGoogleAgent-Mariner