Ignorar robot.txt com wget
Quando necessário, por exemplo, efetuar o backup ou mirror de um website, e por alguma razão não tiver acesso ao ftp ou ssh ao servidor alvo, tendo o servidor uma política de robot.txt que impede o download recursivo de todo Continue reading Ignorar robot.txt com wget