Где поисковые роботы берут адреса для сканирования?
пользователи сами загружают список страниц своего сайта для начальной индексации.
плюс робот периодически парсит линки со страниц, которые у него уже в индексе, и дальше бегает по ним и т.д.
Добавлю, что в некоторых cms (Wordpress) есть встроенный пинг, который сообщает в службы обновления при создании и обновлении страниц. Ссылка.