Para visitar exemplos de arquivos robots.txt, basta navegar pela internet e incluir /robots.txt na raíz dos sites visitados para verificar se eles utilizam o arquivo robots.txt. Abaixo alguns exemplos:
- Google – www.google.com.br/robots.txt – alguns sites interessantes listados
- Facebook – www.facebook.com/robots.txt – Veja como este sitemap utiilza áreas separadas para cada Bot (mas sem necessidade, visto que os comandos parecem ser os mesmos para todos)
- Casa Branca – www.whitehouse.gov/robots.txt – note a correta utilização do comando Disallow para remover áreas de login, como Disallow: /user/password/ e Disallow: /user/login/
- Abradi – www.abradi.com.br/robots.txt – Bloqueia acesso às áreas administrativas do WordPress
- COB – www.cob.org.br/robots.txt – Bloqueia o acesso a uma área de uploads, provavelmente de arquivos submetidos por usuários
Artigos relacionados:
Robot.txt – User-agent
Cuidado com os arquivos do Git em seu webserver
TOP 9 projetos open-source utilizados pelo Facebook em 2013
Erro ao enviar dinheiro pelo PayPal
Facebook não suporta mais acesso RSS em alguns canais
Alguns exemplos de formato de números decimais pelo mundo
Wget – Acessando e obtendo conteúdo de FTP
Código para curtir a fan page do facebook
Xvfb ou X virtual framebuffer – Exemplos de uso