Exemplos reais e interessantes de Robots.txt
Para visitar exemplos de arquivos robots.txt, basta navegar pela internet e incluir /robots.txt na raíz dos sites visitados para verificar se eles utilizam o arquivo robots.txt. Abaixo alguns exemplos: Google – www.google.com.br/robots.txt – alguns sites interessantes listados Facebook – www.facebook.com/robots.txt – Veja como este Continue reading Exemplos reais e interessantes de Robots.txt