Какой собственный почтовый сервер выбрать?
Из коробки - используйте готорые и платные решения от gmail, yandex и иже с ними.
Не из коробки - postfix (сам агент на сервер) + dovecot (ради imap, "как exchange") + spamassasin (антиспам) + sasl (модуль аутентификиции, зависит от того, как будет атворизация у вас) + clamav (антивирь) + dkim (подписи) + в DNS прописать spf для вашего домена.
При этом придется следить за обновлениями софта, как почтового так и вспомогательного (например openssl) и самого сервера. И съесть пару собачек на конфигурировании написанного.
Так же замечу, что указанному софту есть альтернативы: postfix - exim, dovecot - courrier как минимум. Еще надо будет ставить дополнительный софт в виде fail2ban, и самописных скриптов, есть f2b вам мало и у вас открыт ipv6. И до кучи правильно настроить iptables и ip6tables.
Для того, чтобы файлов - поставить samba и сделать некое подобие правил пользователям.
Свой мейлсервер вам нужен если вы понимаете для чего он вам нужен. Плагинов тьма на каждого любителя. "Вытаскивать сервер из блеклистов" - бейте по пользователям (если у вас будет политика смены паролей пользователями и пароли будут от 8 символов в разном регистре и с цифрами не придется) и пишите правильные конфиги (запретите relay, введите белые-серые-черные списки).
Наиболее простые варианты для установки самостоятельно Zimbra и Zentyal.
Так же, возможно, вам подойдет Clearos.
Второй вообще вроде как полностью совместим с Exchange и можно MS-сервер заменить на Zentyal незаметно для клиентов. 
А вот еще список того, что может послужить пищей для исследований.