Как принять решение о типе фигуры (квадрат или круг) на бинарном изображении?
Нейросеть как раз и даст вам вероятность и отлично подходит под эти входные данные. Курите по ним статьи, начиная с самых простых где распознают числа - вот прям ваш кейс.
Мне очень нравятся Ваши (особенно) вторая и третья характеристики. Я бы предложил построить из их значений двумерное пространство, вычислить функцию вероятности на нем, и как следствие решить задачу о кривой, разделяющей области, более характерные для квадратов и более характерные для кругов.