Para aqueles que usam porta diferente da 22(ssh) e querem acesso via rsync, abaixo como fazer esta configuração:
# rsync -avz -e "ssh -p <numero_da_porta>" <usuario>@<ip_do_servidor>:/caminho/desejado/ /local/caminho/desejado
Blog de compartilhamento de informações de desenvolvimento de sistemas