Как сделать свою почту на домене Google?
Без хорошего опыта и понимания принципов работы современных почтовых систем, да и вообще, не рекомендую возиться с собственным почтовым сервером без веской на то причины. Во избежании блокировки собственного адреса за спам, отсутствие SPF, DKIM, DMARC и т.п. + ещё со спамом бороться.
Посмотрите в сторону бесплатного Yandex Connect.
Postfix в качестве MTA, с привязкой SASL (я cyrus использую, dovecot слишком замороченный для таких целей) для отправки писем с того же самого gmail'a, но через postfix. Получение простым редиректом на ящик gmail. Хранение писем вам не нужно, бд вам не нужны.
В настройках домена базово вам нужно только прописать адрес почтовика в mx запись. Как настраивается SPF и DKIM легко гуглится - это самая простая часть.
Под винду не советую... слишком дорого выйдет в итоге - сопоставимо с использованием непосредственно GSuite.