Как с помощью Letsencrypt и Nginx получить сертификат — один домен с двумя IP адресами?
1. Вариант
 синхронизируйте папку  /var/www/acme  между серверами, можно в принципе даже не париться и подмонтировать одну к другой  через fstab
2. Вариант в location /.well-known впишите прокси пасс на  соседний сервер но поскольку может быть и тут и там, то 
 не просто прокси а в 404 ошибку, в таком случае вы будите отдавать его локально, если 404 то оттуда .
Или челез upstream.
Лучшее решение - не травмировать себе голову этой убогой бесплатной байдой а купить сертификат нормальный и указать руками нужные хосты и имена.