Изменить лимиты (ulimit) пользователю root RHEL?
Никогда не экспериментировать с root

Открыть консоль сервера.
Перезагрузиться.
Войти в режим single (или emergency).
Смонтировать файловые системы (или хотя бы / перемонтировать в rw)
Исправить limits.conf
Перезагрузиться.

И больше никогда не экспериментировать с root
Одно из двух
1) перегрузиться в single user mode, и поправить
2) загрузиться с resque disk, примонтировать системный диск, и поправить