Что запрещать в robots.txt?
Перед папкой www папки по типу logs, tmp и т.д. Их нужно запрещать индексировать ? 
НетВ папке сайт.com есть папки css, js, img, fonts и файл .htaccess. Нужно запрещать или нет ? 
Нет
Запрещать индексировать нужно каталоги со страницами, которые вы не хотели бы что бы  попали в индекс
Ничего из этого запрещать не надо, как вы такие глупости выдумали?