3d графика в Python, какую библиотеку использовать?
я бы генерировал 3D примитивы на прозрачном фоне в чём-то одном, 
и объединял с исходным видео с помощью ffmpeg.   Налету, вполне.
Не с того конца проблему решаете. OpenCV - очень быстрая библиотека (особенно если её правильно использовать, избегать лишних аллокаций памяти под массивы и т.п.). Попробуйте читать (декодировать) видео асинхронно или в отдельном треде. Например, можно использовать FileVideoStream из imutils.