А где проводятся вычисления при работой с изображениями?
Нельзя просто так взять и перенести вычисления на GPU - для этого (на 2021 год) программа должна разрабатываться отдельно, с учетом возможностей и структуры этого самого GPU.

Главный плюс GPU - высокая степень параллельности на независимых данных. GPU может одновременно делать тысячи математических операций, при условии, что результат каждой из них не зависит от результата других - что часто встречается при обработке изображений - отсюда высокая скорость вычислений.

Однако, GPU может работать только с теми данными, что загружены в видеопамять и результат записывает тоже только в видеопамять, а ее, как правило, меньше чем обычной RAM. 

Отсюда следует, что выиграть, считая на GPU, можно только тогда, когда данные независимы, хорошо умещаются в память видеокарты и успевают перекачиваться.
Разница в заточенности GPU именно под определенный тип операций, из-за чего при с виду одинаковой мощности некоторые данные на GPU обрабатываются гораздо быстрее чем на CPU. Это как сейчас в Биткоинах - на GPU  майнить можно, но Asic-чипы делают это гораздо шустрее т.к. заточены именно под криптооперации.
Компиляторы по умолчанию делают проект который должен работать на всем, CUDA есть далеко не везде. Поэтому если хотите использовать CUDA, то читайте как ее программировать