Stopa entropije
U matematičkoj teoriji vjerovatnoće, entropijska stopa ili stopa izvorne informacije stohastičkog procesa je, neformalno, vremenska gustoća prosječne informacije u stohastičkom procesu. Za stohastičke procese sa prebrojivim indeksom, stopa entropije H ( X ) {\displaystyle H(X)} je granica spojne entropije od n {\displaystyle n} članova procesa X k {\displaystyle X_{k}} podijeljena sa n {\displaystyle n} , kao n {\displaystyle n} teži beskonačnosti: H ( X ) = lim n → ∞ 1 n H ( X 1 , X 2 , … X n ) {\displaystyle H(X)=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n})} kada postoji granica. Alternativna, srodna količina je: H ′ ( X ) = lim n → ∞ H ( X n | X n − 1 , X n − 2 , … X 1 ) {\displaystyle H'(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})} Za jako stacionarne stohastičke procese, H ( X ) = H ′ ( X ) {\displaystyle H(X)=H'(X)} . Stopa entropije može se smatrati općim svojstvom stohastičkih izvora; ovo je osobina asimptotske ekviparticije. Stopa entropije može se koristiti za procjenu složenosti stohastičkih procesa. Koristi se u različitim aplikacijama u rasponu od karakterizacije složenosti jezika, slijepog odvajanja izvora, do optimizacije kvantizera i algoritama kompresije podataka. Naprimjer, kriterij maksimalne stope entropije može se koristiti za izbor funkcije u mašinskom učenju.