Лучшая книжка: Гэри, Джонсон - Вычислительные машины и труднорешаемые задачи.
http://cs.usu.edu.ru/hardness/data/book ... ctness.pdf
А вообще-то, открываешь Озон, набираешь "теория алгоритмов" - и там дофига!