Через telnet идет подключение к 25 порту с главного домена и всех поддоменов. Как устранить?
Потому что у Яндекса его почтовый сервер mx.yandex.ru сидит на отдельном его собственном IP, на котором он и отвечает на 25-ом порту.

А у вас IP-адрес один для всего: и для основного домена со всеми его поддоменами, и для mail.domen.ru с его 25-ым портом.

Когда на этот IP на 25-ый порт прилетает запрос на соединение, сетевая подсистема не знает, к какому поддомену или домену создаётся соединение, она знает только IP и порт 25. Поэтому заблокировать "а не тот домен!" не получится.

Выносите почтовый сервер на отдельный IP, к которому будет привязан только mail.domen.ru - и тогда не будут доступны 25-ые порты на других доменах.
Вероятно некорректно настроены DNS-записи/BIND/EXIM.
Нет.
telnet должен подключаться. Далее после соединения надо обменятся "приветствиями":  IP адрес, имя …. 
А вот дальше сервер проверяет кому что можно. ACL правила отбрасывают запрещённые соединения.

PS
и смотри комментарий...