b"\n_START_ARTICLE_\nMarkovljev lanac\n_START_PARAGRAPH_\nU matematici Markovljev lanac nazvan po  Andreju Andrejevi\xc4\x8du Markovu  predstavljaju niz stanja sustava. U svakome trenutku sustav mo\xc5\xbee pre\xc4\x87i u neko novo stanje ili mo\xc5\xbee ostati u istome stanju. Promjene stanja nazivaju se tranzicije. Ako slijed stanja ima Markovljevo svojstvo to zna\xc4\x8di da je svako budu\xc4\x87e stanje vremenski neovisno o svakome prija\xc5\xa1njem stanju.\n_START_SECTION_\nStohasti\xc4\x8dka matrica i vektor stanja Markovljevog lanca\n_START_PARAGRAPH_\nAko Markovljev lanac ima k mogu\xc4\x87ih stanja koje ozna\xc4\x8davamo 1,2,3,...k onda se vjerojatnost da je sustav u stanju j u trenutku t+1 nakon \xc5\xa1to je bio u stanju i u trenutku t ozna\xc4\x8dava pij i zove se vjerojatnost prijelaza iz stanja i u stanje j. Matrica P=[ pij] se zove matrica prijelaza Markovljevoga lanca. Zbroj elemenata u svakom stupcu matrice prijelaznih vrijednosti _NEWLINE_ naziva se stohasti\xc4\x8dka matrica, matrica vjerojatnosti ili Markovljeva matrica. (u primjeru 1 uo\xc4\x8dili smo da je zbroj vjerojatnosti grana koje izlaze iz jednoga \xc4\x8dvora 1 )_NEWLINE__NEWLINE_Za svako stanje _NEWLINE_Prijelazna vjerojatnost  predstavlja uvjetnu vjerojatnost da \xc4\x87e se sustav na\xc4\x87i u j-tom stanju ako se prethodno nalazio u i-tom stanju._NEWLINE_Ako se vratimo na na\xc5\xa1 primjer onda mo\xc5\xbeemo sa  ozna\xc4\x8diti vjerojatnost da \xc4\x87e sustav na\xc4\x87i u stanju 1, a sa _NEWLINE_ da \xc4\x87e sustav na po\xc4\x8detku biti u  stanju 2. u na\xc5\xa1em primjeru je _NEWLINE_Izra\xc4\x8dunajmo vjerojatnost  da \xc4\x87e se prilikom sljede\xc4\x87eg promatranja sustav nalaziti u stanju 1, odnosno 2. primjenom formule za totalnu vjerojatnost dobivamo sljede\xc4\x87i sustav linearnih jednad\xc5\xbebi\xc2\xa0:_NEWLINE__NEWLINE_Ozna\xc4\x8dimo li sa  vektor-redak po\xc4\x8detnih vrijednosti,a sa  vektor-redak vjerojatnosti u sljede\xc4\x87em promatranju, onda sustav mo\xc5\xbeemo pisati i u skra\xc4\x87enom obliku\xc2\xa0: _NEWLINE_                      _NEWLINE__NEWLINE_Ako je P matrica prijelaznih vrijednosti za Markovljev proces, a p1 vektor-redak po\xc4\x8detnih vjerojatnosti, onda je _NEWLINE_                                _NEWLINE_vektor-redak za idu\xc4\x87e promatranje ._NEWLINE__NEWLINE_U na\xc5\xa1em primjeru je  _NEWLINE_                          _NEWLINE_Dakle,  ako se sustav s vjerojatno\xc5\xa1\xc4\x87u  nalazi na po\xc4\x8detku ( to jest pri prvom promatranju) u stanju 1, a s vjerojatno\xc5\xa1\xc4\x87u  u stanju 2 onda \xc4\x87e se s vjerojatno\xc5\xa1\xc4\x87u  nalaziti u stanju 1 pri sljede\xc4\x87em promatranju.\n_START_SECTION_\nRegularni Markovljevi Lanci\n_START_PARAGRAPH_\nMarkovljev lanac koji je odre\xc4\x91en regularnom matricom prijelaza se zove regularni markovljev lanac. Matrica prijelaza je regularna ako neke njezine cjelobrojne potencije imaju  sve pozitivne unose. _NEWLINE_Markovljev lanac ima stalan vektor stanja q takav da  ide prema 'q' kako se 'n' proizvoljno pove\xc4\x87ava  za . Zaklju\xc4\x8dujemo da \xc4\x87e vektor stanja u sustav nakon n promatranja postati stalan i tada \xc4\x87e za svaki ishod biti jednaka prethodnoj.\n_START_SECTION_\nPouzdani vektor stanja\n_START_PARAGRAPH_\nZamislimo da je Q takva prijelazna matrica \xc4\x8diji su svi stupci jednaki vektoru vjerojatnosti q. Takva matrica \xc4\x87e svaki vektor stanja transformirati u stalni vektor stanja. Teorem koji govori (a ovdje nije naveden) da je zbroj stupaca u bilo kojem promatranju za _NEWLINE_ jednak 1 implicira  tako da . Ovo dalje implicira _NEWLINE_ tako da . Stoga, za regularni Markovljev lanac, sustav se pribli\xc5\xbeava fiksnome vektoru stanja q. Vektor q  se zove  pouzdani vektor stanja. _NEWLINE_Za sustave s mnogo stanja, obi\xc4\x8dno naju\xc4\x8dinkovitiji na\xc4\x8din za ra\xc4\x8dunanje pouzdanoga vektora stanja jest da se izra\xc4\x8duna _NEWLINE_ za neki veliki n."