Uma das maneiras mais práticas e fáceis de efetuar uma conexão ssh em um servidor Linux utilizando o Windows é através do programa Putty. Maiores informações na página do projeto.
Atualização em 24/02/2016: uma outra alternativa é utilizando o programa Bitvise, que é mais completo que o Putty.