Запрет одному из сайтов полностью грузить сервер, как?
Что именно грузит? Cgroups может помочь. Можно некоторые ограничения для MySQL пользователя сделать.
Если нагрузка легальная, то ограничения вам не помогут. Ищите источник.
Развести по контейнерам/виртуалкам и ограничить их по выделенным ядрам.