Как лучше закрыть индексацию сайта wordpress на время?
В самом wordpress  в админке есть возможность попросить поисковые системы не индексировать сайт. Настройки -> Чтение
habrahabr.ru/company/google/blog/113024 - отдавайте поисковым ботам 503 по User agent в соответствии с рекомендациями гугла того же. 
Списки UA можно погуглить - devaka.ru/articles/list-of-search-bots www.myrobotstxt.ru/page/spisok-osnovnyh-paukov www.tengy.ru/bot.html (у devaka относительно актуальный список на первый взгляд).