Какая математика используется в компьютерном зрении?
Я рекомендую прочитать книгу: www.ozon.ru/context/detail/id/19898948 . В ней изложены основные методы ЦОИ и даны формулы. 
А математика зависит от конкретной задачи, но действительно очень многое из университетского курса высшей математике может понадобиться. Также следует обратить внимание на дискретную математику.
В дополнение к книгам МИР, я бы советовал взглянуть на Компьютерное зрение. Современный подход