Зайдет ли поисковой робот на мой сайт, если на нем нет robots.txt?
Зайдет конечно. Но если вы не добавите сайт в базу поисковика(через консоль вебмастера) или не разместите ссылки на других индексируемых сайтах, то ждать придется вечность.
Да
Что такое файл robots.txt?
Файл robots.txt сообщает поисковым роботам, какие страницы или файлы на вашем сайте можно или нельзя обрабатывать. Используйте его, чтобы ограничить количество запросов, которые получает ваш сервер, и снизить нагрузку на него. Этот файл не предназначен для того, чтобы запрещать показ веб-страниц в результатах поиска Google. Если вы не хотите, чтобы какие-либо материалы с вашего сайта были представлены в Google, применяйте директивы noindex. Также вы можете создать на сайте разделы, защищенные паролем.
https://support.google.com/webmasters/answer/60626...