Возможно ли установить контейнер как сервер?
Если у вас вычислительные задачи на том контейнере, то есть немалая вероятность, что вам не удастся выиграть отказом от Docker.
Пожалуй, разве только если вы запускаете контейнер слишком часто. Тогда это будет иметь смысл. Но тогда вы неправильно пользуетесь Docker.

Попробуйте переселить тот контейнер на машину помощнее. А лучше даже распараллелить, увеличив количество экземпляров. В итоге, это, может быть, даже архитектурная задача.
Так слой докера почти ничего к нагрузке не добавляет, если вы не используете оркестраотр, то это вообще просто окружение.  Проще уж само приложение тогда вынести. Но вся суть контейнеров в том, что если приложение написано правильно, с возможностью горизонтального масштабирования, докер контейнер очень быстро запускается на разных хостах.