А нет для Линукса тулзы, автоматически убивающей процесс, потреблящий память больше заданного лимита?
Есть OOM killer.
Ну, вообще-то всегда был старый добрый ulimit https://www.opennet.ru/base/sys/ulimit_mc.txt.html
И файло к нему  /etc/security/limits.conf