Как сделать выделение кластеров для бинарных изображений?
Для начала хорошо бы определиться с признаками объектов, по которым их кластеризировать, а это можете сделать только вы, исходя из контекста задачи. Попробуйте использовать статистические моменты, топологические признаки, площадь, периметр, коэффициент формы, направление главных осей.
В Матлабе есть способ построения дерева (иерархическая кластеризация), указываете нужное количество (или другой параметр близости).
Правда, из-за санкций, скорее всего, Матлаб недоступен в России.