Конкретно, если нужно - ищите книги по машинной (компьютерной) графике. Ну, двухтомник Фоли и ван Дама необязательно (это классика 70-х)...есть современные учебники более краткие с разбором математики. Была ещё книга начала 90-х "Си для профессионалов", там для видеокарт есть программирование базовых геомпостроений... тоже может сгодиться...