Не справляется nginx?
Итак, что мы имеем - туча всякого на одном сервере что уже плохо. Отличное время задуматься о масштабировании. Что можно сделать для старта:

взять несколько более дешевых виртуалок
разнести отдельно nginx, rabbitmq
подумать о том чтобы избавиться от докера. последний раз я видел чтобы он хорошо работал в больших облаках вроде AWS ECS, но не на отдельных VPS
настроить горизонтальное масштабирование и dns-round-robin


также:

напомню что число портов ограничено и при большом числе одновременных соединений они могут тупо закончиться
слой с приложением тоже стоит масштабировать

да