香农是如何想到信息论的？
具体怎么想到的，只有他老人家自己知道。但四零年代及之前的香农获取了哪些思想资源，是个值得专门研究的有意义的题目。在没做什么研究的前提下，我对照他48年的文章，凭印象胡扯一下。预警：没排版。 香农文章中明确引用或者提及或者致谢的一些人和理论： -Nyquist 的电报传输理论；基于此，香农明确地给出了 sampling theorem 的现代形式，用于（不严格地）确定带限信号空间的维度。 （Remark 1: Nyquist 的理论是关于 ISI-free signaling 的，他从未像香农那样明确给出一个采样定理。所以香农的名字写在 sampling theorem 前面是合理的。但比他更早的至少有苏联的传奇人物 Kotelnikov，他在1933年就给出了采样定理的明确形式，只是西方人后来才知道。另外 E. T. Whittaker 在1915年就建立了带限信号插值的理论，距离现代形式的采样定理也只有一层窗户纸了，他没有去捅透它大概只是因为研究角度不同吧。采样定理的由来一直是个能发 paper 的考古题目，很复杂的。例如可以看看 Paulo J. S. G. Ferreira 和 Rowland Higgins 等人的一系列文章） （Remark 2：一种常见误解是香农的证明依赖于Nyquist 的 ISI-free signaling，这完全不对。他的证明本质上依赖于信号空间维度的所谓 2WT 定理，而这个东西是60年代才完善的，在1948年他只能凑合先用 sampling theorem，其中不严格的那些问题他老人家肯定是知道的。关于 2WT定理 可以看看1974年 D. Slepian 的 Shannon Lecture） -Hartley 的信息定量方法；引出熵的定义。 （关于题主提到的概率与信息量结合，这绝非没有基础的凑合。香农给出熵的形式是有公理化证明的，也就是说他提出了几条符合人们对信息直觉理解的公理，然后仅依靠这些公理来一步步推导出熵的定义必然是那个样子。只要仔细看过他1948年的文章，应该能够明白） （以前和最近瞎看一些文章后的感想：不知为啥，二战后那几年，建立一般性理论似乎是很时髦的。关于通信的一般性理论的工作很多，不过大部分已被遗忘，一个例外是 D. Gabor 1946年的著名文章 "Theory of communication"，只是该文的影响主要并不在通信领域。而对信息量和信息传输速率的数学化这件事，当时似乎已经到了一个突破的边缘，不仅是信息量的度量，甚至类似 C=W log(1+SNR) 这样的公式都已经在一小撮人的脑袋里若隐若现——Verdu 的98年综述文章提过一些，2014-2015年左右 Olivier Rioul 和 José Carlos Magossi 写了不止一篇文章专论此事，举了一堆例子。不过香农基于概率统计，给了一系列完美的解答，例如熵形式唯一性的公理化证明，以及信道容量的核心理论（而不是通过直观的推导扔出一个有可能猜出来的公式）；而其它的接近 C=W log(1+SNR) 形式的东西相比之下都还差得很远。也就是说虽然他有竞争者，但是他高太多了，信息论姓香完全是必然的） -R. M. Fano 对信源编码的早期研究，R. W. Hamming 对纠错码的早期研究。 （在这里纠错码是个恰当的名字。是香农给出了信道编码功能的完整理解） 特别地，以下几个名字是香农明确致谢了的： -J. R. Pierce 和B. M. Oliver 以及香农本人在PCM方面的工作；这个属于 lossy source coding，香农从来不是只在纸上做事情的。 -Wiener 在随机过程、滤波等方面的工作，或许也包括 Cybernetics。 （但是，有些人喜欢夸大 Wiener 对信息论的贡献，据说香农不太满意这件事，但现在这种情况仍然存在） -H. W. Bode 在系统、控制等方面的工作；我猜这个应该与香农论文中的 "entropy loss in linear filters" 有关。 -B. McMillan；但我不知道他那时候在干啥。。 没有明确提到（或者我没看见），但是显然对香农有影响的东西： -Morse code，原始的 lossless source coding，而且已经在做数据压缩了！ -Boole 的布尔代数；这是香农硕士时就熟悉的东西。从这个到 bit 似乎很自然。 （香农明确了 bit 这个词的发明权属于 J. W. Tukey。类似，据说把 uncertainty 叫做 entropy是冯诺依曼的建议[1]） (感想：其实从波形到 bit 这一步极为重要，区分了模拟和数字通信，而信息论是数字通信的数学理论。我手头刚好有一本十几年前某 BUPT 前辈送我的香农论文集复印件，其中有一个1939年香农给他老板 V. Bush 的信，已经提到他自己在做通信的一般性理论，但其中设想的通信模型还是在传一个函数或者说波形 f(t)，也就有不可数无穷多种可能性，也就还是模拟通信范畴。但这是一个开始) -此外还有二战时期密码工作的影响。据说香农的保密通信论文先于信息论论文完成，只是后发。 -最后，我认为高维空间的理论也是三十岁的香农已经掌握的一个极为重要的思想资源（看看他49年的那篇文章，很明显）。下面的故事是我上个寒假学到的，来自R. Zamir 的书 Lattice Coding for Signals and Networks。Zamir 说是 Wyner 的同事 Toby Berger 跟他讲的。 但是香农更进一步，他的高维空间不是确定性的而是概率的，他的sphere packing和数学家的sphere packing并不一样。 总结一下。香农的确掌握了很多思想资源，作为他信息论大厦的砖块。但是这些砖就在那里，大部分的砖别人也能拿到。而香农的文章出来之后，他们做的类似的东西就都只有考古价值了。所以我的感想仍然是，香农是神。 （哈哈，突然觉得可以申请个考古项目了。。有人想合作吗？） 致谢本文中出场的 Shannon Lecturers:  C. E. Shannon, D. S. Slepian, R. M. Fano, A. D. Wyner, T. Berger, and S. Verdu.