Как узнать исходные цвета на черно-белом изображении, если известен точный цвет отдельных объектов?
Перевод из RGB в Grayscale - это необратимая функция. Например, в телевизионном стандарте CCIR-601 она задана как Y = 0.299R + 0.587G + 0.114B, а в sRGB как Y = 0.2126R + 0.7152G + 0.0722B.
Были попытки решить эту задачу с помощью машинного обучения и нейросетей. Более менее успешные.  Обучали сетку распознавания предметов на картинке, потом обучали какие цвета доминируют в изображении тех или иных предметов, потом еще пару know-how, в том числе "шаманства" с каналом яркостей и пр. Результат не блестящий, но достаточно правдоподобен. Художественную картину не восстановишь, но несложную документальную фотографию - достаточно близко к оригиналу.

Только вот эта задача  -  точно не для людей, которые этой темой  (обработка изображений с помощью методов машинного обучения) не занимались раньше. И уж точно, там задействована не та логика, которую вы привели в вопросе.