Почтовый сервер и клиент для домена, с чего начать?
с чего начать?
На мой взгляд, начать стоит с детального продумывания вопроса о том, как вы будете отправлять почту. 
При использовании даже "чистого" единственного IP вашего сервера очень высока вероятность того, что сервисы наподобие Gmail будут по умолчанию отправлять письма от вас в спам, либо вообще молча дропать. И это при том, что Gmail ещё не самый "привередливый" в этом плане.

По-хорошему, вам потребуется сеть IP-адресов (релеев), которые вы сначала будете постепенно "прогревать", накапливая репутацию, а затем очень тщательно за той репутацией следить.

Если сервис, который вы хотите создать, будет бесплатным, я с трудом представляю как это можно будет сделать. Общедоступность же дополнительно усложнит задачу.
Если по теме, то вот: https://mailcow.email