Почему некоторые блокируют «якобы плохих ботов»?
Блокируют, что бы исключить нагрузку на сервер.  Боты могут бесконтрольно рекурсивно скачивать миллионы страниц с сервера, а толку от них конкретно вам не будет никакого.
Если бы мотивацией бота был ещё какой-то смысл, он бы выдал себя за обычного пользователя.
Причин блокировок - тонны.
Первая - это снижение нагрузки на сервер. Не каждый провайдер спокойно отнесется даже к интенсивному обходу сайта каким-нибудь Screaming Frog.
Вторая - это нежелание отдавать вовне важную информацию по сайту. К примеру, данные о ссылочном профиле, контенту страниц и т.п. Банально: вы не хотите, чтобы ваши данные кто-то банально спёр и разместил у себя - а это обычная практика.
Ну, и есть ещё пачка разных суеверий у вебмастеров, которым дали чьи-то чеклисты, только не объяснили, что это конкретно и для чего.