Как узнать адрес сервера MySQL?
Мде, ну и советы. netstat -nlp
Смотри на чем слушается mysql, если Internet-connection нету, смотри какой сокет использует[08:43] ~ [root@owncloud] (dcn01srv056)
$ netstat -nlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 127.0.0.1:3306          0.0.0.0:*               LISTEN      31555/mysqld
tcp        0      0 127.0.0.1:49002         0.0.0.0:*               LISTEN      3264/uwsgi
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      2774/nginx
Из примера видишь что mysqld слушается на localhost-e, tcp порт 3306. 
В примере демона nginx - он слушается на  0.0.0.0, tcp порт 80 - это значит он принимает соединения на любых доступных сетевых адресах в системе по 80 порту. От этого нужно стараться избавляться без прямой необходимости.
Эм. By default, MySQL only allows connections from the localhost address.
Получается если ты закомментировал, то ничего не изменилось.
Когда получится, использовать тот же самый адрес что и у VPS.
Однако так делать - строго не рекомендуется. Я, рекомендую использовать SSH tunnel для соединения через localhost. Удобная программа, которая поддерживает это и имеет графический интерфейс для настройки - Navicat. Стандартный MySQL Workbench впрочем тоже поддерживает.