信息论基础（信息论）

您好,现在程程来为大家解答以上的问题。信息论基础，信息论相信很多小伙伴还不知道,现在让我们一起来看看吧！

1、香农香农被称为是“信息论之父”。

2、人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《通信的数学理论》作为现代信息论研究的开端。

3、这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。

4、在该文中，香农给出了信息熵（以下简称为“熵”）的定义：这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。

5、熵度量的是消息中所含的信息量，其中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。

6、扩展资料：信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。

7、信息传输和信息压缩是信息论研究中的两大领域。

8、这两个方面又由信道编码定理、信源－信道隔离定理相互联系。

9、信息论的基本内容的应用包括无损数据压缩（如ZIP文件）、有损数据压缩（如MP3和JPEG）、信道编码（如数字用户线路（DSL））。

10、这个领域处在数学、统计学、计算机科学、物理学、神经科学和电机工程学的交叉点上。

11、信息论对航海家深空探测任务的成败、光盘的发明、手机的可行性、互联网的发展、语言学和人类感知的研究、对黑洞的了解，以及许多其他领域都影响深远。

12、信息论的重要子领域有信源编码、信道编码、算法复杂性理论、算法信息论、信息论安全性和信息度量等。

13、参考资料来源：百度百科 信息论。

本文就为大家分享到这里，希望小伙伴们会喜欢。

标签：