Как сортировать RGB цвета?
Например, можно конвертировать их в цветовое пространство HSL, а далее, сортировать по оттенку (Hue), внутри него - по насыщенности (Saturation) и яркости (Lightness).
Сортировка по значениям R,G,B даст весьма странный результат, как вы, вероятно, уже заметили.
Сначала по красному, потом по зеленому, потом по синему. Если не понравится, то измени порядок.
И вообще это гуглится за пару секунд https://www.alanzucconi.com/2015/09/30/colour-sorting/