Какая функция растёт быстрее?
Нужно выяснить значение производной какой из них для любых значений n будет больше. 
Производная функции ведь и есть функция прироста значения функции.
К  алгоритмам прямого отношения не имеет, чистая алгебра.www.wolframalpha.com/input/?i=plot+n%5E(log(n)),+n%5E2
функции пересекаются в точке n~=7,39 до этого значения n^2 растет быстрее, а после - n^log(n)
Конечно n^log(n), у неё степень с ростом n увеличивается и стремится к бесконечности, а у n^2 степень фиксирована