Почему Linux зависает при больших нагрузка на ОЗУ?
12309 - старая потеха.
Пока SSD не поставишь на корень и своп, от этой проблемы не уйдешь!
И таки да, советую про oom-killer почитать. Все в линуксе есть. Просто редко oom-killer успевает убить обжор. Чаще система вусмерть встает клином (у меня такое было очень часто) и только RESET помогает.
Если зависает намертво - это проблема с железом.