信息论与编码是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、数据压缩等问题的应用学科理论，是电子通信类专业重要的学科基础课。本书介绍香农信息论的基本内容：信息的度量方法、信源编码（无失真信源编码和限失真信源编码）及信道编码（纠错编码、安全编码和网络编码）的基本理论与方法。为方便学生理解，本书对重点、难点进行了数字化处理与演示；为培养学生解决实际问题的能力，在每章中引入了理论联系实际的内容。 本书可配合中国大学MOOC上的“信息理论与编码”线上课程使用，也可作为相关专业学生的配套教材。

张可，博士，武汉理工大学信息工程学院副教授，长期从事通信工程领域的教学与研究工作，发表论文多篇，获得武汉理工大学校第九届青年教师教学比赛三等奖。

目 录
第1章 绪论 1
1.1 信息的定义 1
1.2 本课程的主要研究内容 2
1.3 信息论与编码的发展历程及相关应用 6
1.3.1 信息论与编码的发展 6
1.3.2 信息论与编码技术的交叉应用 8
习题 10
第2章 信源与熵 11
2.1 信息与信源的关系 11
2.1.1 信源与随机变量 11
2.1.2 通信模型中的信源 12
2.2 香农熵及其特性 13
2.2.1 熵的来源 13
2.2.2 香农熵 14
2.2.3 香农熵的含义 15
2.2.4 香农熵的特性 17
2.3 联合熵与条件熵 20
2.3.1 联合分布与联合熵 20
2.3.2 条件熵 21
2.3.3 各类信源熵的关系 21
2.4 平均互信息量 22
2.4.1 平均互信息量及其计算 22
2.4.2 平均互信息量的性质 24
2.4.3 熵及平均互信息量之间的关系 25
2.5 各类信源熵的扩展 25
2.5.1 离散无记忆扩展信源的信息熵 25
2.5.2 离散平稳信源的信息熵 26
2.5.3 连续信源的信息熵 28
2.5.4 马尔可夫信源的信息熵 35
2.6 应用实例 38
2.6.1 信源信息传播因素分析 38
2.6.2 智能变电站通信网络的广义信源 38
本章基本概念 39
习题 41
第3章 信道及其容量 44
3.1 信道的分类及模型 44
3.1.1 信道的分类 44
3.1.2 信道的模型描述 46
3.1.3 离散信道的数学模型 47
3.2 信道的平均互信息量 48
3.2.1 信道的疑义度 48
3.2.2 信道的散布度 50
3.2.3 信道的平均互信息量 51
3.2.4 信道的平均条件互信息量 52
3.3 平均互信息量的特性 52
3.4 信道容量及其一般计算方法 54
3.4.1 信道容量的定义 54
3.4.2 离散无噪信道的信道容量 56
3.4.3 对称离散信道的信道容量 59
3.4.4 准对称信道的信道容量 62
3.4.5 Kuhn-Tucker定理及一般离散信道的信道容量 64
3.4.6 信道容量的迭代算法 68
3.5 连续信道及其信道容量 69
3.5.1 连续信道的数学模型 69
3.5.2 连续信道的平均互信息量及其特性 70
3.5.3 高斯加性噪声信道的信道容量 71
3.5.4 一般加性噪声信道的信道容量及其边界 74
3.6 波形信道及其信道容量 75
3.6.1 波形信道的平均互信息量 75
3.6.2 加性噪声波形信道的信道容量 76
3.7 扩展信道及其信道容量 79
3.7.1 扩展信道的数学模型 79
3.7.2 扩展信道的平均互信息量和信道容量 80
3.8 组合信道及其信道容量 82
3.8.1 串联信道 82
3.8.2 独立并联信道 84
3.9 信源与信道的匹配 84
3.10 应用实例 85
本章基本概念 86
习题 89
第4章 无失真信源编码 92
4.1 信源编码的基本概念 93
4.2 编码的唯一可译性 96
4.2.1 常见码及其唯一可译性 96
4.2.2 码树与克拉夫特不等式 98
4.2.3 唯一可译码的判断方法 100
4.3 离散无记忆信源的渐近等分性 102
4.3.1 典型序列 102
4.3.2 渐近等分性 102
4.3.3 离散无记忆信源序列集的划分 103
4.4 定长编码 104
4.4.1 定长编码的基本约束 104
4.4.2 定长编码定理 104
4.5 变长编码定理 108
4.6 无失真信源编码方法 110
4.6.1 霍夫曼编码 111
4.6.2 费诺编码 116
4.6.3 香农编码 117
4.6.4 游程编码 119
4.6.5 算术编码 120
4.6.6 字典编码 123
4.7 应用实例 131
4.7.1 MH编码 131
4.7.2 Zip和Gzip软件 134
4.7.3 RAR和WinRAR软件 135
4.7.4 GIF图像 136
4.7.5 PNG图像 136
本章基本概念 139
习题 140
第5章 信道纠错编码 143
5.1 纠错编译码的基本原理 143
5.1.1 纠错编译码方法 143
5.1.2 平均差错率及译码规则 145
5.1.3 分组码举例 149
5.2 有噪信道编码定理 151
5.2.1 有噪打字机举例 151
5.2.2 定理讨论 153
5.2.3 有噪信道编码逆定理 153
5.3 线性分组码 154
5.3.1 线性分组码编码 154
5.3.2 伴随式与标准阵列译码 158
5.3.3 码的最小汉明距离与检纠错能力 159
5.3.4 标准阵列及译码方法 160
5.3.5 完备码 164
5.4 应用实例 165
5.4.1 模拟移动系统中数字信令的BCH编码 166
5.4.2 深空通信中的信道编码 166
5.4.3 GSM的信道编码 166
5.4.4 窄带CDMA系统（IS-95）中的前向纠错编码 166
5.4.5 3G通信中Turbo码 166
5.4.6 5G通信中的信道编码 167
本章基本概念 167
习题 169
第6章 限失真信源编码 171
6.1 失真测度 172
6.2 信息率失真函数及其性质 173
6.2.1 信息率失真函数的定义 173
6.2.2 信息率失真函数R(D)的性质 174
6.3 限失真信源编码定理 178
6.4 离散信源信息率失真函数的计算 178
6.4.1 离散信源信息率失真函数的参量表示计算方法 178
6.4.2 离散信源信息率失真函数的迭代计算方法 187
6.5 连续信源的信息率失真函数 190
6.5.1 连续信源信息率失真函数的参量表达式 190
6.5.2 高斯信源的信息率失真函数 191
6.6 图像信源限失真编码举例 193
6.6.1 JPEG基本系统简介 193
6.6.2 JPEG编码过程示例 196
6.6.3 JPEG编码率失真性能曲线的绘制 198
6.7 信息率失真函数的应用及应用中的困难 200
本章基本概念 201
习题 202
第7章 信道安全编码 203
7.1 网络模型与安全服务功能 204
7.1.1 开放系统互连参考模型 204
7.1.2 安全分层原则 205
7.1.3 安全服务功能 205
7.2 香农的安全编码思想 207
7.2.1 加密系统的信息论分析 208
7.2.2 信息论安全技术 210
7.2.3 有噪信道的安全通信 211
7.2.4 完全保密、强保密和弱保密 212
7.2.5 信道的安全编码与传统加密体制的对比 214
7.3 搭线窃听信道 215
7.3.1 普通搭线窃听信道模型 215
7.3.2 退化搭线窃听信道模型 216
7.3.3 高斯搭线窃听信道 218
7.3.4 关于搭线窃听信道的几点说明 219
7.4 安全编码方法 219
7.4.1 Wyner的安全编码思想 220
7.4.2 伴随编码机制 222
本章基本概念 225
习题 226
第8章 网络编码 227
8.1 网络编码基础 227
8.1.1 蝴蝶网络 227
8.1.2 网络编码的核心思想 229
8.1.3 线性网络编码 229
8.2 网络编码应用 229
8.2.1 网络编码与无线通信 229
8.2.2 网络编码与分布式存储 230
本章基本概念 233
习题 234
附录A 部分定理的证明 235
参考文献 241