Как вычислить дубликаты при  обновлении базы данных через API?
Конкретный совет не могу дать. Ничего кроме копии БД не лезет в голову. Хорошая ли это практика или нет, сказать не могу. Может и хорошая. Нужно знать все подробности API — кто, зачем, куда итд.

Могу только посоветовать попросить провайдера API пофиксить своё API или прояснить, может Вы его не по назначению используете. Или пусть даст совет.
Попробуйте считать хеш каждой записи и сохранять его в отдельном индексированном поле. Хотя если база уже большая, то ее обновление займет довольно много времени.