Как обновлять сайт на nuxt.js в контейнере Docker?
Можно сделать "как у взрослых": поднимать второй контейнер с новой версией и переключать трафик на него. В зависимости от типа переключения получим bluegreen либо canary deployment
Вам нужна оркестрация. Есть решения большие и сложные типа кубера, но вам вероятно подойдет docker swarm