Как из MacOS найти в локальной сети устройство и узнать его ip за пределами маски?
Для начала, вполне возможно, что передача данных между вашей подсетью и той, где находится искомое устройство, запрещено на фаерволле/роутере. В этом случае открытый порт ничего не даст - так же, как и пинг, пакет попросту не дойдёт.

Если же запретов на роутере нет и вы точно знаете диапазон адресов - можно попробовать просканировать его полностью чем-нибудь вроде nmap`а. В этом случае открытый порт поможет вам определить адрес устройства.
За перделами маски? Никак.