Какие проблемы могут возникнуть при использовании самоподписанного сертификата на почтовом сервере?
При использовании SSL на SMTP в некоторых случаях будет fallback на протокол без шифрования, если отправляющая сторона не принимает самоподписанный сертификат. Это не частный случай, т.е.  обычно релеи не проверяют сертификат. Но в любом случае это лучше чем совсем без SSL.
+ придется устанавливать свой сертификат в список доверенных на всех клиентах.
никаких. для личных нужд пофигу что в там себе подписываете. просто добавьте корневой сертификат в доверенные центры и живите спокойно