計算機科学は、全ての情報はビットに符号化でき符号化自体は本質的に任意である。として、ビットで表される記号列の世界のみをその対象としてきた。の任意性のため、非記号の世界における情報の概念が不明瞭になる場合がある。えば、画像などに含まれるパターンを一般に扱おうとするとき、パターンの種類ごと。に個別に符号化を定義していると、異種間の相対的な情報量の比較に意味がなくな。なぜなら、符号化自体が情報を隠し持つことがあるからである。