Как исключить индексацию разрабатываемого сайта поисковиками?
Как минимум robots.txt c cодержимымUser-agent: *
Disallow: /
По хорошему этого достаточно.
Но можно дополнительно закрывать basic auth
Кстати что бы сайт появился в поисковиках нет необходимости его добавлять руками.
Брендированные браузеры, яндекс метрика, переходы на внешние сайты где установлена метрика - и поисковики уже знают ваш url )
во-первых, не ставить на новый сайт ссылки доступные роботам поисковых систем, тогда сайт просто не возможно будет найти, не зная о нём.
во-вторых, присутствие файла robots.txt ничего не даст, в нём необходимо прописать нечто вроде Disallow: / (подробнее ищите "директивы robots.txt")
ну и в-третьих, попробуйте страницу заглушку.