Как по RGB определить является ли цвет оттенком белого?
Что имеется в виду под «оттенком белого»? Что-то вроде «желтоватый белый», «голубоватый белый» и так далее?
Проще всего — переведите RGB в HSL и дальше смотрите на последнюю компоненту (lightness). То, насколько она будет близка к единице, и есть ваша метрика.

Если же имелся в виду оттенок серого, то смотрите на компоненту saturation.

Перевести RGB в HSL — проще простого.
наверное имелась ввиду яркость.