Где можно почитать про столкновения в 3D пространстве?
Воспользуйтесь физическим движком 
https://github.com/kripken/ammo.js/
или
https://github.com/lo-th/Oimo.js/ более легковесный, для сложных поверхностей придется извратиться, собирая её из кубиков - идеально подходит для создания minecraft подобных игр. Если я все правильно понимаю оригинальный двиг на as3 писался для galaxy55.com Сейчас проект закрыт.
Если желаете именно "почитать", вам нужны вузовские курсы:Линейная алгебраАналитическая геометрияДифференциальная геометрияТеория интерполяцииЧисленные методыТеоретическая механика