Как использовать nginx как прокси для mysql?
nginx может проксировать НЕ только http/https трафик. 
https://docs.nginx.com/nginx/admin-guide/load-bala...
другой момент что это страшный костыль и так делать лучше не надо. 
но если очень хочется то вот пример, прям с сайта nginx
https://www.nginx.com/blog/scaling-mysql-tcp-load-...

и да, я присоединяюсь к комменту о том что в базе можно и без nginx-а подключаться вполне себе успешно..
как уже сказали выше: проксировать - костыль. хотя и возможно различными способами, простыми или не очень. 

нормальный способ - разрешить удалённое подключение. 
а дальше по ситуации:
- если у удаленной машины постоянный адрес, создаём в мускуле юзера только с этим адресом. 
- если адрес "плавает", создаём в мускуле пользователя с доступом отовсюду и сложным паролем, сверху навешиваем fail2ban, а лучше ещё добавить порт нокинг. или просто юзаем ссх-туннель.