Какую библиотеку C/C++ выбрать для рисования графиков функции?
Как вам unix-way - программа на C++ считает, а потом передает данные в gnuplot?
Tufitko 
Вам уже Армянское Радио советовал про Unix-way. Можно поступить немножко по-другому. Вы пишите консольную программу, печатающую на stdout в виде csv-формата. Далее с помощью python-а и библиотеки к нему matplotlib.org/ получаете более дешевый в разработке и в тоже время кросс-платформенный вариант ;)