Какие библиотеки используют для написания GUI операционной системы?
Ну да, и что? А KDE написан на QT. Вопрос-то в чем?
А для какого языка? 

C++ https://tproger.ru/digest/cpp-best-gui/

Можно загрузить и для другого интересующего вас языка