Entropija (teorija informacija)
U teoriji informacije, entropija je mera neodređenosti pridružena slučajnoj promjenljivoj. U ovom kontekstu, obično se misli na Shannonovu entropiju, koja kvantifikuje očekivanu vrijednost informacije sadržane u poruci, obično u jedinicama kao što su biti. Ekvivalentno, Shannonova entropija je mjera prosječnog informacionog sadržaja koji se propušta kada se ne zna vrijednost slučajne promjenljive. Koncept je uveo Claude Shannon u svom čuvenom radu iz 1948. godine „Matematička teorija komunikacija“. Shannonova entropija predstavlja apsolutnu granicu najbolje moguće kompresije bez gubitaka bilo kakve komunikacije, pod izvjesnim ograničenjima: ako tretiramo poruke da su kodirane kao niz nezavisnih slučajnih promjenljivih sa istom raspodjelom, prva Shannonova teorema pokazuje da, u graničnom slučaju, srednja dužina najkraće moguće reprezentacije za kodiranje poruka u datom alfabetu je njihova entropija podijeljena sa logaritmom broja simbola u ciljnom alfabetu. Jedno bacanje fer novčića nosi entropiju od jednog bita. Dva bacanja - dva bita. Brzina entropije za novčić je jedan bit po bacanju. Međutim, ako novčić nije fer, tada je neodređenost manja (ako bismo morali da se kladimo na ishod narednog pokušaja, vjerovatno ćemo se kladiti na češći rezultat), pa je i Shannonova entropija manja. Matematički, jedno bacanje novčića (fer ili ne) predstavlja Bernoulijev eksperiment, a njegova entropija data je binarnom entropijskom funkcijom. Niz bacanja novčića sa dvije glave imaće nultu entropiju, jer su ishodi potpuno predvidljivi. Brzina entropije teksta na engleskom je od 1 do 1,5 bita po slovu, odnosno od 0,6 do 1,3 bita po slovu, prema procjenama baziranim na eksperimentima.