Как делать scaling сайту в случае нагрузки?
Использовать autoscaling, основываясь на параметрах утилизации ресурсов. Например, при утилизации процессора или памяти в 75% добавляем ещё один инстанс в балансировщик и распределяем так нагрузку.
Почитайте как это работает в облаках
Надо смотреть и на процессор, и на память, и на io ещё, и  если нагрузка превышает определённые пределы, поднимать дополнительные инстансы. 
Надо смотреть не только на утилизацию, но и на скорость её изменения, и на длительность поднятия инстанса  в вашей среде, и на основе этого определять порог при котором пора масштабироваться.
Вот общий ответ, который можно дать в формате тостера. А так, надо читать много об этом, и думать над вашим конкретным приложением. Ну и набивать шишки при первой реализации...