Какая математика нужна системному программисту?
Анализ, Дискретная математика, Линейная Алгебра, Геометрия..
 Чутка подробнее: 
Дискретные структуры - Теория множеств, Функции(Изображения),Графы, Алгоритмы, "а там пойдет само" :) 
Алгебра -комплексные числа, поля, матрицы, векторные пространства, "а там пойдет само" :)
Анализ - поможет развить ваше мат. мышление.
Любому программисту будет полезна дискретная математика. Системный программист тут особо не отличается (ему важнее алгоритмы и структуры данных).
Глубокий матан нужен тем, кто занимается расчетами и моделированием. Ну или областями, где задействована физика, например реалистичной графикой.
То, что математика полезна в целом, и "ум в порядок приводит", я думаю и так понятно.