Быстрый межпроцессовый обмен данными?
Вот честно, Вы архитектурно кроилово делаете, которое точно приведёт к попадалову...
Два варианта:
1. Все на OpenCV и натив
2. Все на Unity3D с модулем OpenCV.
что мешает в unity подключить opencv, C# как бы намекает на наличие такой возможности