Как стабилизировать IPsec?
Первое, что приходит на ум - DPD. Если DPD включен, нужно чтобы керио его правильно ловил а не опускал соединение по неактивности (этим грешит racoon)
второе - при истечении таймаута на 75% заново проводится фаза2, возникает новое SPI, устройства начинают путаться в том, какую SPI использовать и так продолжается до тех пор, пока старая SPI не сдохнет (а это как раз 7 - 10 минут может занять).

Что можно сделать - посмотреть таймауты по фазам и политику их назначения и если можно забрать на микротики их назначение, может быть прибавить времени, отключить dpd (разумеется это все при наличии возможности это сделать - а то может быть там фиксированный набор настроек)
Забивает скорее всего не ОЗУ, а процессор, у Mikrotik в линейки есть продукты которые умеют аппаратно шифровать IPSec, следовательно процессор не нагружается. Смотрите спецификацию оборудования. Обычно IPSec редко сам "отваливается",  у меня есть устройства на которых он работает с момента последнего перезапуска.