Как наверняка определить что куда подключено?
зайти на свичи по очереди и посмотреть lldp

Если я захожу на сам свитч (управляемый) то там я не вижу маков телефоновтак не бывает. 
свич на основе маков работает и все маки ему известны иначе ничего бы не работало
Если коммутатор управляемый, то у него скорее всего есть возможность просмотра FDB таблицы. Ее можно получить или через интерфейс управления, и/или по SNMP. В этой таблице есть привязка MAC-адресов и порта коммутатора.
Вот статья на тему - https://habr.com/ru/post/213247/