Что то с моей головой или с ssh?
наверное что-то с головой)
Павел Падожников: Файл known_hosts. что он делает? 
known_hosts хранит слепки удаленных серверов, к которым вы уже подключались. Служит для того, чтобы удаленный сервер не могли подменить незаметно.
Для беспарольной работы вам нужно две вещи:
иметь приватный ключ на сервере откуда подключаетесь, например /home/user/.ssh/id_rsa
иметь публичный ключ на сервере куда подключаетесь, например в /home/user/.ssh/authorized_keys