Как отключить ввод passphrase?
ssh-agent вам поможет. Вводите ключ один раз (в начале сессии) и все, дальше ключ будет использоваться без пароля.
на компутере, с которого хочешь входить без пасфразы, сделай ключ без пасфразы и добавь его в в авторизед_кейс целевой системы.
на остальных компутерах используй ключ с пассфразой.