Зачем нужны матрицы в Direct3D?
Число, вектор и матрица - это все массивы. Просто размерности разные. Матрица по сути можно представить как двумерный вектор (двумерный массив).  Конечные матрицы естественно можно заменить векторами (одномерными массивами) - например, матрица 3х3 заменяется вектором из 9-ти элементов. Но со временем, оперировать матрицами Вы привыкнете и они будут для Вас нагляднее.
И используя конечное число операций с матрицами можно выполнить поворот, масштабирование и иные операции с фигурами. 
Я рекомендую Вам почитать побольше про матрицы. Для многих действий с ними хватает и знаний средней школы.
Например, habrahabr.ru/post/131931
как тогда без матриц расщетать перспективу и положения костей анимации меша? каждую вершину в ручную перебирать?