Почему не ощущается нагрузка на сервер?
Load Avg от разных причин растёт.
Как правило лаги при Load Avg вызваны медленными операциями чтения/записи (на диски и/или по сети).
В вашем случае он растёт из-за нагрузки на процессор не связанной с операциями чтения/записи, поэтому лагов и нету
установите еще iotop и наблюдайте