Какую ОС лучше выбрать(gate,smb,ftp,vpn etc.)?
1 и пожалуй самое важное: Используйте ту ОС, которую лучше всего знаете, ибо ответственность за ее работу будет на вас, не на знакомом «линуксоиде». 

2. Все вышеперечисленное (шлюз, базы, бэкап) на одной машине — худшее, что можно придумать и реализовать. Все три роли должны быть на разных устройствах, дабы: не взломали шлюз, не украли базы и не стерли бэкапы.
Ну и не забывайте про FreeBSD ^)