Какую выбрать библиотеку для построения математических графиков?
В Qt SDK есть Qt Charts, задача его схожая, написали его на QML, что и вам советую попробовать.
Если для анимации нужна быстрая перерисовка, то pyqtgraph.
Если важнее функционал, то matplotlib.