Как правильно реализовать работу Ansible по SSH?
Пароли использовать в принципе нельзя, с учетом того что ансибл владеет доступом к системе на уровне рута у вас нет по сути другого способа, как использовать пользователя с судо на стороне настраиваемого сервера.
И да если вы профукали доступы к ансибл серверу вы профукали доступ ко всем  серверам.
С точки зрения безопасности это вообще нормально, так как логично держать сервер ансибл без возможности внешнего доступа
remote_user: user1
не? :D