Как правильно написать robots.txt?
В корень каждой папки бросить robots.txt запрещающий индексацию. Вы ведь это спрашивали? Просто мне кажется это очевидно.
robots.txt c содержанием:User-agent: *
Disallow: /*demo
Поместить в папку demo