Как написать мат.интерпритатор на С?
Если подходить основательно, то Вам надо начать с этой книги: www.ozon.ru/context/detail/id/3829076
Если менее основательно, то вот ключевые слова для поиска: 
обратная польская нотация
flex
bison
токенайзер
парсер
Почитайте про транслирующие грамматики для арифметических выражений. 
Например, здесь: Языки программирования и методы трансляции. Глава ...