Как использовать ключи авторизации SSH правильно?
man ssh_config
Создаёте ~/.ssh/config и заполняете соответствия host и IdentityFile. Тут же можно указать порт, имя пользователя и другие радости.
Можно один и тот же ключ для всех машин использовать. Дальше локальной машины приватная часть ключа никуда не попадает, а если злоумышленник сможет утянуть его - то с таким же результатом он утянет все пять ключей)