Алгоритм перевода RGB-компонент в длину волны?
Тут не тег "физика" нужен, а "биология". С точки зрения физики - эта задача не имеет смысла, ну не соответствует набор интенсивности трех длин - длине какого-то другого цвета.

Это задача подобрать такую длину волны, которая стимулирует средний человеческий глаз так же, как набор из трех разной интенсивности. Тут надо знать спектры чусвтительности разных колбочек и оттуда уже плясать.

Еще надо помнить про специфику работы мониторов - эти самые числа в RGB задают квадратные корни интенсивности свечения разных пикселей.

Еще, возможно будет легче сначала преобразовать RGB в какой-нибудь YUV или HSL.
Наоборот не получится.
См. значения волн по периметру фигуры:

