Почему не пускает по ssh (Permission denied (publickey)) со второго IP?
Настройте ~/.ssh/config, чтобы настроить разные ключи для разных серверов
Судя по логам (ssh -v) проблема в том, что во втором случае SSH не может найти нужный ключ в ~/.ssh/known_hosts — у меня нестандартное имя файла ключа (для разных машин разные ключи).
В known_hosts находится список known хостов (известных хостов).
Файл ключей находится, например, в id_rsa или id_dsa