Когда устанавливаешь собранный из исходников софт, его можно удалить через apt-get remove? или только ручками?
Из исходников можно собрать пакет - его можно будет ставить и удалять командой.
Если же вы делаете просто make install - то apt никак не может быть в курсе, что этот install творит в системе.
Удалить пакет с помощью пакетного менеджера можно только если он был установлен пакетным менеджером. В противном случае пакетный менеджер банально не знает, что, куда и как было установлено. И этот как раз почему всем, кто использует пакетные дистрибы категорически противопоказано самому что-то собирать, за исключением собственных программ :)