Какой алгоритм нужен при настройке своего почтового сервера?
Ставь bind (свой dns), ставь postfix (или exim, они более менее просты) +dovecot (доставщик почты) + spamassassin + ClamAV
Вдоволь тренировок будет.
На тему установки статей полно. 
1. Настраиваешь Bind (IN A, MX)
2.Прописываешь у регистратора свой NS (nameserver)
3. Настраиваешь связку postfix(или exim)+dovecot (антивирь и спаморез можно потом прикрутить)
4. Ждешь обновления кэша dns и тестируешь свой сервер на предмет прохода писем.
Это если на пальцах) Можете и с RoundCube поиграться, но я бы начал с этого.
www.lissyara.su/articles/freebsd/mail/exim_dovecot... 
На убунту поднимается без особых проблем