Существует ли какой-то оверхед при использовании CSS в Qt?
Qt сами рекомендуют стилизовать контролы именно через setStyleSheet().
Под капотом, думаю, что просто задаются значения набору параметров виджета, а дальше видже при отрисовке просто использует эти значения, т.е. каждый кадр парсинг стиля не происходит.
Безусловно, нужно время, чтобы распарсить текст стилей, но оно мизерное, в реальной работе я не замечал каких-то проблем с отрисовкой.
Через stylesheet можно задавать значение и своим параметрам, достаточно только объявить их определенным образом.
>Надеюсь, он при этом не подключает какой-нибудь HTML движок для рендера GUI?
Нет, не подключает, но для нестандартных интерфейсов в 2019 году стоит брать QML, а не QSS. Виджеты плохо дружат с HiDPI экранами, там есть баги, которые не фиксятся уже 10 лет, и вообще — QML гораздо более гибкий и красивый.