Как ограничить количество воркеров MongoDB?
А у вас монго на отдельных серверах крутится? Если нет, то вряд ли проблема решаема, монго рассчитывает на то что он может скушать всю память и не отдавать её.
Нет там такого, по крайней мере в оф документации.
Может у вас какие то косяки с основными настройками, подкрутить их и станет немного легче, ну или запросы по оптимизировать.