Сильно ли вредит скорость загрузки сайта для SEO?
Да, вредит.
Вредит не "скорость", а МЕДЛЕННАЯ загрузка. И не только для "SEO", а пользователям. в ДЦ моей страны скорость на внешку это Весь остальной мир низкая (256кб/с) 
Это что за ДЦ/страна такая?
И почему нельзя перенести сайт в нормальный ДЦ?