Как происходит индексация поисковиками несвязанных областей/файлов сайта?
Поисковик может попасть на страницу:
 — по ссылке на эту страницу
 — если такая страница есть в sitemap
 — сайт как-то по другому экспортирует данные в поисковик (отзывы, товары в яндексе)
 — на странице стоит счетчик от поисковика (аналитикс, метрика)

Тупо перебором он не будет страницы пытаться найти
Хм, т.е. на все это должны быть некие указатели? Т.е. если на серв положить некий файл, никак и ничем не связанный с остальным контентом, он не будет проиндексирован?
Я почему спросил, намедни смотрел через поисковик на наличие файла passwd.dat, содержащий связку логин/пароль для форм авторизации, многие поисковики выдавали приличные результаты с кучей сайтов, где был найден этот файл. Поэтому и появился вопрос, как он был найден? Не думаю что на него ведет некая ссылка с сайта. В голову приходит только мысль, что сам путь до него может содержать в каком-нибудь другом скрипте, который лежит на сайте. Но это мне представляется как-то маловероятным.