Почему зависает сайт при свободной памяти и процессоре?
Проблему решил.
Дело было в Bitrix CMS, а именно нашел функцию SessionTable::lock, которая шлет запросы GET_LOCK("***", 60) в базу.
Как назло в  документации о ней мало что написано. Не понятно, когда она срабатывает, но у меня подозрение что когда число одновременных запросов к MySQL подбирается к лимиту. 
В результате получаем блокировку сайта на 1 минуту и пустые логи.
Часть запросов к БД которые шли через Битрикс прописал на чистом PHP и зависания прекратились.
Всем спасибо!
Покажите вывод командыcat /proc/sys/fs/file-max
Ну и вообще то облазить /var/log на предмет странных записей в этот момент было бы неплохо.