《信息论基础习题解答》是本科生教材《信息论基础》配套的辅助教学资料，主要目的是为学生提供更多的信息论基本问题解题示范，开阔学生的解题思路，提高学生解决与信息论有关的基础性或综合性问题的能力，进一步提高信息论课程理论教学的质量。《信息论基础习题解答》很多习题来自传统或经典的国内外教科书，同时还包含相当数量的通过一线教师多年的教学实践提炼并得到验证的典型题。《信息论基础习题解答》与主教材结构相同，也对应包含12章。内容包括“知识要点”、“例题精解”、“习题解答”、“补充题解”4个部分。另外，有些章节安排了编写计算机程序解题的实验型习题，以加强信息论课程的实践性。通过类似的训练可提高读者利用计算机解决用解析方法难以解决或需要大量计算的问题的能力。
    《信息论基础习题解答》可作为电子信息类专业的本科生与研究生的学习参考用书，特别适合于自学信息论的读者阅读，也可作为信息论教师的教学参考资料。

《信息论基础习题解答》是为高校学生学习电子信息科学与工程类专业的重要基础课——信息论课程配套提供的参考书。《信息论基础习题解答》包含选自经典的国内外教科书的习题，也包含经多年教学实践提炼的典型题和编写计算机程序的实验型习题，而且还包含联系生活实际甚至有某种趣味的习题，总共220多道。《信息论基础习题解答》为学生提供更多的信息论基本问题解题示范，开拓学生的解题思路，使学生能够深刻理解信息论基本概念，熟练掌握基本解题方法，进一步提高解决与信息论有关的基础性或综合性问题的能力。《信息论基础习题解答》可以作为电子信息类专业的本科生、研究生和教师的参考书，对于研究生入学考试复习也有一定的指导作用。

    信息论基础即香农（C.E.Shannon）信息论，是通信与电子信息类专业的重要基础课，也是绝大多数电子信息类专业高年级和研究生的必修课程。信息论基础课程以信息熵为基本概念，以香农三个编码定理——无失真信源编码定理、有噪信道编码定理和限失真信源编码定理为核心内容，研究通信系统中信息的度量、信源的压缩以及信息通过信道有效和可靠传输等理论问题。
    为使学生更好地理解基本原理、掌握基本方法、提高分析能力，我们经过多年的教学和科研实践的积累，编写了大学工科本科生教材《信息论基础》（普通高等教育“十一五”国家级规划教材，田宝玉等编著，人民邮电出版社，2008年8月出版）。国内外信息论课程教学实践证明，一本好的教科书，必须配备精心挑选的习题，而这些习题都应该有相应的解答。这对于学生深入理解基本概念，掌握和运用基本的解题方法，提高解决问题的能力是很必要的；对从事本课程教学的教师也有重要的参考作用。
    《信息论基础习题解答》（以下简称《题解》）就是为上述本科生教材《信息论基础》配套的辅助教学资料，主要目的就是为学生提供更多的信息论基本问题解题示范，开阔学生的解题思路，提高学生解决与信息论有关的基础性或综合性问题的能力，进一步提高信息论课程理论教学的质量。
    当前，市场上已有一些信息论习题解答的图书问世，但随着信息理论教学与研究的广泛开展，还需要更多有自身特点的习题解答的图书出现，以使初学者能够了解多种风格的问题描述与分析方式，相互借鉴，取长补短，有利于更全面地掌握基本解题方法，扩大眼界，开拓思路。
    本书是在参考了大量的国内外优秀教科书和专著的基础上写成的，很多习题来自传统或经典的国内外教科书，同时本书还包含较多通过我们多年的教学实践提炼并得到验证的典型题。

第1章 绪论 
第2章 离散信息的度量 
2.1 知识要点 
2.1.1 自信息和互信息 
2.1.2 信息熵 
2.1.3 平均互信息 
2.2 例题精解 
2.3 习题解答 
2.4 补充题解 

第3章 离散信源 
3.1 知识要点 
3.1.1 离散信源的分类与数学模型 
3.1.2 离散无记忆信源的熵 
3.1.3 离散平稳信源的熵 
3.1.4 有限状态马尔可夫链 
3.1.5 马尔可夫信源 
3.1.6 信源的相关性与剩余度 
3.2 例题精解 
3.3 习题解答 
3.4 补充题解 

第4章 连续信息与连续信源 
4.1 知识要点 
4.1.1 连续随机变量集合的熵 
4.1.2 离散时间高斯信源的熵 
4.1.3 连续最大熵定理 
4.1.4 连续随机变量集的平均互信息 
4.1.5 离散集与连续集之间的互信息 
4.2 例题精解 
4.3 习题解答 
4.4 补充题解 

第5章 无失真信源编码 
5.1 知识要点 
5.1.1 基本概念 
5.1.2 定长码 
5.1.3 变长码 
5.1.4 哈夫曼编码 
5.1.5 几种实用的编码方法 
5.2 例题精解 
5.3 习题解答 
5.4 补充题解 

第6章 离散信道及其容量 
6.1 知识要点 
6.1.1 基本概念 
6.1.2 单符号离散信道及其容量 
6.1.3 级联信道及其容量 
6.1.4 多维矢量信道及其容量 
6.2 例题精解 
6.3 习题解答 
6.4 补充题解 

第7章 有噪信道编码 
7.1 知识要点 
7.1.1 基本概念 
7.1.2 最佳判决与译码准则 
7.1.3 信道编码与最佳译码 
7.1.4 费诺不等式 
7.1.5 有噪信道编码定理 
7.1.6 纠错编码技术简介 
7.1.7 信道编码性能界限 
7.2 例题精解 
7.3 习题解答 
7.4 补充题解 

第8章 波形信道 
8.1 知识要点 
8.1.1 离散时间连续信道 
8.1.2 加性噪声信道与容量 
8.1.3 AWGN信道的容量 
8.1.4 有色高斯噪声信道 
8.1.5 数字调制系统的信道容量 
8.2 例题精解 
8.3 习题解答 
8.4 补充题解 

第9章 信息率失真函数 
9.1 知识要点 
9.1.1 基本概念 
9.1.2 离散信源信息率失真函数 
9.1.3 限失真信源编码定理 
9.1.4 离散信源信息率失真函数的计算 
9.1.5 连续信源信息率失真函数 
9.1.6 重要的R（D）函数 
9.1.7 一般连续信源R（D）函数 
9.2 例题精解 
9.3 习题解答 
9.4 补充题解 

第10章 有约束信道及其编码 
10.1 知识要点 
10.1.1 标号图的性质 
10.1.2 有约束信道容量 
10.1.3 有约束序列的性质 
10.1.4 有约束信道编码定理 
10.1.5 有约束序列编码与应用 
10.2 例题精解 
10.3 习题解答 

第11章 网络信息论初步 
11.1 知识要点 
11.1.1 基本概念 
11.1.2 多址接入信道 
11.1.3 广播信道 
11.1.4 相关信源编码 
11.2 习题解答 
11.3 补充题解 

第12章 信息理论方法及其应用 
12.1 知识要点 
12.1.1 离散信源熵的估计 
12.1.2 最大熵原理 
12.1.3 最小交叉熵原理 
12.1.4 信息理论方法的应用 
12.2 例题精解 
12.3 习题解答 
期末考试模拟试题 
期末考试模拟试题标准答案 
参考文献

    信道：信道是信号从编码器传输到译码器的中间媒介，分为无噪声信道和有噪声信道。主要有两种噪声：加性噪声和乘性噪声。这里主要研究加性噪声。其中最普遍的是理想加性高斯白噪声（AwGN）信道。信道还可分为离散信道、离散时间连续信道和波形信道（或模拟信道）。其中，离散信道和离散时间连续信道输入与输出都是符号序列，只不过符号取值不同，前者取离散值，而后者取连续值。而波形信道的输入与输出均为时间的连续波形。信道有无记忆信道和有记忆信道的区分，离散信道和离散时间连续信道可以是无记忆的，也可以是有记忆的。而波形信道通常是有记忆的。
    译码器：译码器实现与编码器相反的功能，即从信号中恢复消息。译码器包括解调器、信道译码器、信源译码器。解调器功能是将信道输出信号恢复成符号。信道译码器的功能是去掉解调器输出符号中的冗余符号，并对非冗余符号进行检错或纠错。信源译码器的功能是将信道译码器输出符号变成消息。
    信宿：信宿的功能是接收信息，包括人或设备。
    （2）通信系统性能指标的评价。
    有效性用频谱复用程度（模拟系统）或频谱利用率（数字系统）来衡量；提高有效性的措施是，采用性能好的信源编码以压缩码率，采用频谱利用率高的调制减小传输带宽。
    可靠性用输出信噪比（模拟系统）和传输错误率（数字系统）来衡量。对于数字系统，提高可靠性的措施是，采用高性能的信道编码以降低错误率。
    安全性用信息加密强度来衡量，提高安全性的措施是，采用强度高的密码与信息隐藏或伪装技术。
    ……