Как на С++ написать свой 3D-редактор — типа очень куцего 3DMax? Или есть готовые с открытым кодом?
За геометрией - можете почитать этот курс. 
Для написания GUI используйте Qt.
А чем вас не устраивают компоненты из FreeFem++?
Вы описали типичную сферическую проблему в вакууме нашего ИТ: "мне нужен супер-крутой пограмист, который забьет хер на всё и будет только со мной сидеть показывать как делать крутые штуки". Нету таких. Вангую, что через месяц начнут появляться вопросы типа: "скачал из интернетов 100 фабрик-обзерверов, а они тормозят! телепаты хелп!"
opensourceecology.org/wiki/CAD_tools