Авторизацию по ключу SSH?
Сгенерировал приватный и публичный ключ на сервере, публичный скопировал на клиентскую машину в файл 'authorized_keys' но аутентификация как и обычно проходит по паролю.
Ты с сервера заходишь ни клиентскую машину, что ли? Потому что публичный ключ кладут на машину НА которую заходят.
Чтобы заходить с клиента на сервер, генерируй ключевую пару на клиенте и записывай публичный ключ в authorized_keys на сервере.
Вы уже разобрались, но все равно советую вам в конфиге ssh  прописать следующую строку:
PasswordAuthentication no , что даст гарантию что по паролю на эту машину больше зайти не удастся никому.