Debian VS Windows Server 2012?
Попробуйте Linux, не получится - всегда можете перейти на win. При этом для начала я бы даже не дебиан советовал, а убунту крайнюю LTS. Чуть новее пакеты, куча документации и комьюнити. В linux нет ничего страшного, для некоторых задач он намного проще в настройке чем win, но вот свободного времени на чтение документации первое время понадобится много.
why don't we have both?
Поиграйтесь с обеими серверами на виртуалках для начала ;) 
--
Если ваша цель - только небольшой домашний сервер - то выбирайте win2012. Гораздо проще настроить и заставить работать как вам надо :)
Если же вы хотите попутно получить опыт и суровые навыки - то ставьте линукс, но не дебиан, а арч какой-нибудь или еще чего похуже.