На какой операционной системе развернуть машину под бекап?
Ну так себе вопрос. Смотря что и как бекапить… для одних приложений надо SMB шару под виндоуз, для других - NFS под Линукс, для третьих - объектное хранилище S3, для четвёртых git-репозиторий, для пятых - отдельная СХД, а для каких-то целей аппаратный ленточный массив.
с точки зрения эффективности - поставить windows server (стоимостью больше 20т.р.) под такую простую задачу - это оверкил.

linux же бесплатен (либо очень дешев, если брать тот же редхат), да работать с ним кому то может сложнее чем с windows но это та цена которую мы платим за free/opensource/свободу...

Ставь linux, без вариантов, так как он гибче и предоставляет больше возможностей и сложнее конфигурации по решению твоих задач. Если что, штатный windows 10 инструмент резервного копирования (он называется резервное копирование и восстановление windows 7) прекрасно складывает бакапы на samba шару, размещенную на linux и это только один из вариантов настройки... если нет нужды копировать права доступа на файлы, то linux без проблем может сам подключаться к шаре windows и по расписанию делать резервные копии, в т.ч. с использованием shadow copy если надо, так что мне не ясно почему некоторые думают что windows безальтернативен тут