На каком языке пишутся системные библиотеки?
Они написаны на C, возможно со вставками ассемблера. Исходные тексты их функциональных аналогов можно посмотреть в reactOS или wine.
Декомпилировать их до исходников не выйдет, но IDA может подгрузить PDB, что может сильно упростить анализ.