엔트로피는 평균 정보량을 의미하나요?
정보 엔트로피
그러므로 엔트로피는 ‘어떤 상태에서의 불확실성’, 또는 이와 동등한 의미로 ‘평균 정보량’을 의미한다. 이 용어를 직관적으로 이해하기 위해 정치에서의 선거를 생각해보자. 보통, 그러한 선거는 우리가 선거 결과를 모르기 때문에 실시한다. 즉, 선거 결과는 상대적으로 ‘불확실’하다. 그리고 실제로 선거를 시행하고 선거 결과를 얻는 것은 우리에게 ‘새로운 정보’를 제공한다. 이 말은 선거 결과에 대한 엔트로피가 크다는 말과 같다. 이제, 첫 번째 선거가 실시되고 난 후, 두 번재 선거가 실시되었다고 생각해보자. 첫 번째 선겨 결과를 이미 알기 때문에, 우리는 두 번째 선거 결과를 예측할 수 있고 두 번째 선거 결과는 우리에게 더 이상 우리에게 아무런 정보를 제공하지 않는다. 이 경우, 우리는 두 번째 선거 결과의 엔트로피가 첫 번째 것보다 작다
정보 이론
정보 엔트로피는 열역학에서의 엔트로피와 크게 다르지 않은 개념으로, 정보엔트로피(정보량)가 높을수록 불확실성은 커진다. 반대로 계에서의 정보량은 불확실성의 정도이므로 불확실성이 적은 계의 정보 엔트로피(정보량)는 줄어들 수 있다. 영어알파벳의 경우 모든 알파벳이 동일한 확률도 발생한다면 정보엔트로피(정보량)은 4.754887비트이지만 알파벳의 출현 빈도값을 계산하면 4.08비트까지 줄어든다. 이것 외에도 어떤 철자가 오면 그 뒤에 특정철자가 올 확률이 아주 높은 등 여러가지 이유가 있기 때문에 정보 엔트로피(정보량)는 더욱 줄어들 수 있게 된다. 한 가지 예를 들면 q가 오면 그뒤에 a,u가 올 확률이 거의 100%이다.