Символьные вычисления это.https://ru.wikipedia.org/wiki/%D0%A1%D0 ... 0%B8%D1%8F

Литературу не посоветую, но область этих алгоритмов уже хорошо обкатана в коммерческих (Maple, Mathematica и т.п.) и некоммерческих (Maxima) продуктах. А кое-кто и сам такие алгоритмы программирует...