Как запретить доступ к url поисковым роботам?
Файл роботов это пожелание.
Это ваше пожелание, которое приличные поисковые системы выполняют. 
Добровольно выполняют.
Но этот файл ни к чему их не принуждает и никак не ограничивает.
Если они пожелают, то смогут и проигнорировать содержимое этого файла, хотя это дурной тон.
ВГету естественно все равно на это правило. ВГет выполняет вашу команду. Что ему указал человек, то он и выполнил.
Чтобы проверить, правильно ли настроен robots.txt, можно воспользоваться инструментами поисковых систем. У Яндекса вот https://webmaster.yandex.ru/robots.xml. У гугла вот https://www.google.com/webmasters/tools/robots-tes..., но можно проверить только у подтверждённого сайта