Какое ПО использовать для почты на своем сервере?
postfix - smtp server
dovecot - imap/pop
amavis + clamav - антивирус/антиспам
для личного использования - достаточно. еще можно какой то greylist прикрутить.
Какие задачи? Если просто почта на своём домене - яндекс в помощь, к их почтовому ящику домен можно прикрутить бесплатно. Если при этом беспокоит юрисдикция РФ - то gmail, а на своём сервере установить postfix и использовать как MTA, не храня и не обрабатывая на нём почту, а только пересылая.
Если просто поучиться - то, как и сказали выше, postfix, dovecot.