Как удалить/обновить программу, которая была создана из исходников?
В пингвиньей тусовке частенько похваляются простотой мантры ./configure && make && make install, но звучит и здоровая критика этого метода, направленная на неудобство удаления (не все озабочиваются реализацией make uninstall) и путаницу с файлами при обновлении.
Поэтому здоровая практика — это сборка из исходников в пакет родного для вашего дистрибутива формата, с последующей его установкой. Инструменты — или универсальные типа checkinstall, или что-то более специфичное вроде debuild.
Исходники, боюсь, таки придётся скачать. make install превращает файлы из папки билда в обычные файлы, разбросанные по вашему диску. Частично, наверно, можно с этим бороться, указывая префикс пути для установки.
Скачивать заново
Смотреть что в configure является путем для установки по-умолчанию
Удалять руками
Если ставите на время, то делайте все сразу /tmp 
Без make install
make собирает все в кучу в рабочий бинарник или что-то другое исполняемое
make install - делает копирование
Если ставите надолго но "для себя", то заведите себе $HOME/.bin или $HOME/.local/bin и его указывайте в настройках при ./configure
Для systemwide /opt/bin
Правильное решение - собрать пакет и поставить его