Как найти четвертую вершину квадрата, видимого под углом, зная первые три и длину стороны?
Однозначное решение задачи без знания взаимного расположения камеры и плоскости принципиально невозможно. Проиллюстрирую. 
Черными метками - известные нам точки, красной - валидные варианты расположения четвертого угла при разных положениях камеры.
В качестве математической модели для камеры обычно берут центральную проекцию. Я почти уверен, что центральная проекция некоторой плоскости есть аффинное преобразование. Для квадрата ABCD верно векторное(!) равенство AC = AB + AD. При Аффинном преобразовании это равенство сохранится.