Robot.txt – User-agent
User-agent A função do comando user-agent é listar quais robôs devem seguir as regras indicadas no arquivo robots.txt. Eis as principais opções: Google: User-agent: Googlebot Google Imagens: User-agent: Googlebot-images Google Adwords: User-agent: Adsbot-Google Google Adsense: User-agent: Mediapartners-Google Yahoo: User-agent: Slurp Bing: User-agent: Bingbot Continue reading Robot.txt – User-agent