Как отфильтровывать дубликаты новостей из разных источников?
Алгоритм шинглов
https://ru.wikipedia.org/wiki/%D0%90%D0%BB%D0%B3%D...
Расстояние Левенштейна
https://ru.wikipedia.org/wiki/%D0%A0%D0%B0%D1%81%D...
Без матана тут не обойтись)
Например 
https://habrahabr.ru/post/110078/
https://habrahabr.ru/post/324540/