Как правильно запретить индексацию поисковиками частного контента?
robots.txt не всегда работает (почему, вопрос открытый), но тэг meta content="noindex,nofollow" name="robots" еще не подводил.
Ну у нас вот google-bot даже забивает на basic авторизацию, такое чувство, что сливает пароли и абсолютно безнаказанно индексирует закрытые сайты, абсолютно забивая на robots.txt. После этого даже вообще не понятно как защититься, видимо тупо не юзать хром, сразу его отфутболивать по юзерагенту, чтобы не было возможности слить пароль basic авторизации.