前言
1948年,香农(C.E.Shannon)发表了著名的论文《通信的数学理论》,从而为一门科学——信息论,奠定了理论基础。信息论是人们在长期通信工程的实践中将通信技术与统计数学相结合而逐渐形成的一门交叉科学。
作为通信技术的数学基础,信息论特别强调通过编码处理来提高通信的有效性和可靠性。 随着信息技术的不断发展,信息论在通信领域发挥着越来越重要的作用,显示出它是解决信息与通信领域中有关问题的有力工具的本色。在当今的信息时代,信息论已渗透到其他相关的自然科学,甚至社会科学领域,与电子技术、自动控制、计算机网络及管理学、经济学、生物学、 医学、心理学等学科密切结合,显示出它的勃勃生机和不可估量的发展前景。信息论是信息科学中极为重要的组成部分,是信息科学发展的起源与基石。
在这种背景下,国内高校普遍在相关专业为本科生和研究生开设了“信息论基础”或“信息论与编码”课程。 从2003年到2014年,作者一直在大连海事大学为本科生讲授“信息论基础”课程。 本书就是在该课程的讲义基础之上编著而成的。书中也包含了作者多年研究信息理论与编码技术的经验和体会。
本书主要讲述经典信息论内容。为了便于理解,首先讨论比较简单的离散信源和离散信道模型下的信息与编码理论,然后讨论比较复杂的连续信源和连续信道情况。不论是离散情况还是连续情况,都先侧重讲解便于理解的单维、无记忆的情况, 再逐步过渡到比较抽象的多维、有记忆情况。 最后为了进一步引起学生的学习兴趣,还简要介绍了信息论在密码学中的应用,以及网络信息论的基础知识。
本书重视基本概念和基本结论的讲解,以及思维方式的培养。在数学工具运用上,努力使数学符号规范和统一、证明方法简洁和统一。此外,面向初学者和本科生,还有意识地删除了一些冗长、难以把握的证明过程。
本书在第1版的基础上增加了部分内容,并对书中的所有习题都提供了详细解答。
最后,值得一提的是,在本书的编写过程中,所指导的一些研究生为本书做了大量录入和绘图工作,在此致以真挚的谢意!
由于时间和水平所限,书中难免存在不当之处,恳请读者批评和指正。
岳殿武2022年10月于大连