확률이 낮을수록 어떤 정보일지는 불확실하게 될 때 엔트로피가 높다고 표현하나요?
정보 엔트로피
요약: 확률이 낮을수록, 어떤 정보일지는 불확실하게 되고, 우리는 이때 ‘정보가 많다’, ‘엔트로피가 높다’고 표현한다.
정보 엔트로피
간혹, 위 정의에서 자연로그 대신 이진로그 log 2 {\displaystyle \log _{2}} 를 사용하는 경우가 있다. 이 경우 정보 엔트로피의 단위는 비트이고, 자연로그의 경우에는 단위 내트(nat)를 사용한다.