Как ограничить доступ к статическому сайту?
Если вы играете со всякими Джекиллами, то скорее всего, и Apache у вас свежий, версии 2.4.

В нём директивы order, allow и deny стали deprecated.

Сейчас ограничения по IP-адресу пишутся примерно так: 
# Полные адреса
Require ip 10.1.2.3
Require ip 192.168.1.104 192.168.1.205
# Части адресов
Require ip 10.1
Require ip 10 172.20 192.168.2
# CIDR
Require ip 10.1.0.0/16
Либо так: 
<RequireAny>
  Require ip 111.x.x.x
  Require ip 122.x.x
  Require ip 133.x
</RequireAny>
robots.txt для вашей задачи не подходит. 
Мало того, что сейчас много краулеров его банально игнорируют (даже гугл может сам решить, что проиндексировать стоит), так ещё есть и такие, кто в нём ищет какие директории владелец сайта хочет скрыть.
Получается сайт динамический раз страницы генерируются. Используй проверку по IP на стороне сервера.  Поисковики твой сайт индексировать не будут, если пропишешь это в robots.txt