Как сгруппировать / отсортировать фотографии по схожести?
Вы ищете готовый коталогизатор или хотите сами создать?
Если второе, то анализируете изображения:

находите доминантный цвет
Как в opencv определить доминирующий цвет?
https://stackoverrun.com/ru/q/7910222
уровень освещенности
https://opencv-python-tutroals.readthedocs.io/en/l...
получаете описание главного объекта продвинутым алгоритмом
https://www.pyimagesearch.com/2017/09/11/object-de...

И кластеризуете по полученным характеристикам.
https://api-2d3d-cad.com/ident_by_color_texture/
https://habr.com/ru/post/321216/
В пакете DeepFaceLab есть батник, соотирующий фото по схожести. Работает, кажется, через xnView. Можете посмотреть