Не могу сообразить как реализовать парсер чтобы он не парсил повторяющиеся новости?
ссылку, заголовок, дату, контентПодсчитайте хеш от указанного, запишите в таблицу. Если хеш новости уже есть в таблице — не парсить.
Предлагаю на стороне БД использовать UNIQUE KEY по полю item_link и не заморачиваться проверкой уникальности записи в Python.Ссылка на документацию