User-agent
A função do comando user-agent é listar quais robôs devem seguir as regras indicadas no arquivo robots.txt. Eis as principais opções:
- Google: User-agent: Googlebot
- Google Imagens: User-agent: Googlebot-images
- Google Adwords: User-agent: Adsbot-Google
- Google Adsense: User-agent: Mediapartners-Google
- Yahoo: User-agent: Slurp
- Bing: User-agent: Bingbot
- Todos os mecanismos: User-agent: * (ou simplesmente não incluir o comando user-agent)
Artigos relacionados:
Exemplos reais e interessantes de Robots.txt
Obtendo configurações do cliente GIT
Ignorar robot.txt com wget
MySQL: “Access denied for user ‘debian-sys-maint’@’localhost’”
Como retirar uma palavra ou mais palavras do resultado das pesquisas do Google
Como cadastrar/vincular uma conta do Google em seu Android
Google está multando quem baixa conteúdo pirata via Google Fiber