Как удалить дубликаты IP-адресов с разными портами?
1. Отчекрыжьте всё, что после двоеточия, например, как-нибудь так: cut -f1 -d":"
2. Натравите на sort -u

Добро пожаловать в линукс (либо поменяйте тэги).
Можно наверное загрузить в sqlite и там применить оконную функцию. Взять в группе первый попавшийся адрес. 

Если автору нужно быстро готовое решение - то пускай публикует весь список адресов здесь. Ему какая-то добрая душа поможет.

Так... эта задача балансирует на грани - sed/sort - писать лениво. SQLite - оверхед получается для одного раза.