Может ли кто-то получить доступ к файлам сайта кроме хостинг провайдера?
Могут. У вас же есть доступ? Значит и у других может быть. Кража паролей, ошибки в безопасности сервера или приложения. Терморектальный криптоанализ в конце-концов.
Ну просто засканил и скачал все файлы, а с чего вы взяли что файл роботс мне что то запрещает