Расчёт углов поворота между двумя системами координат
ОМГ, в шоке от ответов про кватернионы ))

Если координаты в XYZ 
OX' = (x1, y1, z1) 
OY' = (x2, y2, z2)
OZ' = (x3, y3, z3)
То матрица преобразования из XYZ в X`Y`Z`
x1, x2, x3
y1, y2, y3
z1, z2, z3

Собственно практически по определению
Насколько я могу припомнить, если мы возьмём координаты ортов новой системы, помещённых в старую, то эти координаты и будут строками искомой матрицы.