Есть курс видеолекций на intuit.ru где есть лекция посвященная именно марковским алгоритмам.

http://www.intuit.ru/department/algorithms/introalgo/
Конкретна эта видеолекция:http://www.intuit.ru/department/algorit ... roalgo/3/#

Надо не забыть посмотреть.

PS. Кто-нибудь может посоветовать какую-нибудь литературу по теме?