Qt и OpenGL
Очень многие редакторы для графических движков используют Qt для GUI. Скорость рендера не меняется по сравнению с выводом в одно (или меняется практически незаметно).
Виджеты можно рендерить в текстуру. По поводу скорости, скачайте SDK, там есть нужные примеры, в том числе OpenGL, сможете оценить быстродействие.