Quando necessário, por exemplo, efetuar o backup ou mirror de um website, e por alguma razão não tiver acesso ao ftp ou ssh ao servidor alvo, tendo o servidor uma política de robot.txt que impede o download recursivo de todo o conteúdo, é possível utilizar o wget para ignorá-lo.
Para isto basta:
wget -e robots=off -c -r '<url>'
