Как применить ON CONFLICT для отслеживания изменений при INSERT?
Возможно ли не встравлять в таблицу записи, которые уже присутствуют в таблице?
Возможно. Если вы этим знанием свой предметной области поделитесь с СУБД и создадите уникальное ограничение. А скорей всего это вовсе натуральный первичный ключ.
on conflict работает как ни удивительно при конфликте уникальности. Поэтому пока у вас никто не гарантирует уникальность данных - on conflict ничего не сделает.
Поскольку INSERT и DELETE в одном запросе не получится, нужна процедуре. В ней можно сделать всё, как у вас написано: удалить из таблицы, добавить отсутствующие.