本书是自适应信号处理领域的一本经典教材。全书共17章，系统全面、深入浅出地讲述了自适应信号处理的基本理论与方法，充分反映了近年来该领域的新理论、新技术和新应用。内容包括：随机过程与模型、维纳滤波器、线性预测、*速下降法、随机梯度下降法、*小均方（LMS）算法、归一化LMS自适应算法及其推广、分块自适应滤波器、*小二乘法、递归*小二乘（RLS）算法、鲁棒性、有限字长效应、非平衡环境下的自适应、卡尔曼滤波器、平方根自适应滤波算法、阶递归自适应滤波算法、盲反卷积，以及它们在通信与信息系统中的应用。

    本书作者是国际知名的教材作者，其编著的基本教材“信号与系统”“通信系统”“自适应滤波器原理”均是国外的**畅销教材，已被多所大学采用。本书内容紧跟时代，不断更新。正因为这样，该书备受读者欢迎，影响与日俱增，赢得很高的声誉。

前 言
新旧版本比较
本书新版本（第五版）对旧版本（第四版）进行了大量的修订。主要修改如下除这里所罗列的修改外， 还包括散布在其他章节的许多修改。例如， 第6章增加了关于LMS算法的最优性考虑和统计效率的新内容， 第10章引入了关于RLS算法统计效率的新内容， 第14章新增了关于信息滤波算法的独特特性和Fisher信息等内容。
1.引入了全新的第5章关于随机梯度下降法的内容。
2.根据朗之万（Langevin）函数及相应的布朗运动， 修改了第6章(旧版本第5章)中最小均方(LMS)的统计学习理论。
3.引入了全新的第11章关于鲁棒性的内容。
4.在第13章后半部引入非平稳环境下自适应的新内容， 并将其应用于增量Delta-Bar-Delta（IDBD）算法和自动步长方法。
5.在附录Ｂ和附录Ｆ中分别引入关于微积分及朗之万函数的新内容。
6.更新了参考文献， 增列了“建议阅读文献”。
7.删除了旧版本中“自适应IIR滤波器”和关于复数神经网络的“反向传播学习”两章。
本书新版要点
自适应滤波器是统计信号处理中的一个重要组成部分。它可对未知统计环境或非平稳环境下的各种信号处理问题， 提供一种十分吸引人的解决方案， 并且其性能通常远优于用常规方法设计的固定滤波器。此外， 自适应滤波器还能够提供非自适应方法所不能提供的信号处理能力。因此， 自适应滤波器已经成功应用于诸如通信、 控制、 雷达、 声呐、 地震和生物医学工程等许多领域。
本书写作目的
本书写作的主要目的是研究各种线性自适应滤波器的数学原理。所谓自适应性是根据输入数据调整滤波器中的自由参数（系数）来实现的， 从而使得自适应滤波器实际上是非线性的。我们说自适应滤波器是“线性”的， 指的是如下含义：
无论何时滤波器的输入－输出映射都服从叠加原理， 在任何特定的时刻， 而且在任意特定时刻滤波器的参数都是固定的。
线性自适应滤波问题不存在唯一的解。但存在由各种递归算法所表示的“一套工具”， 每一工具给出它所拥有的期望特性。本书就提供了这样一套工具。
在背景方面， 假设读者已学过概率论、 数字信号处理等大学本科的导论性课程及通信和控制系统等先修课程。
本书组成结构
本书绪论部分从一般性地讨论自适应滤波器的运算及其不同形式开始， 并以其发展历史的注释作为结束。其目的是想通过该课题的丰富历史， 向那些对该领域感兴趣并有志潜心钻研的读者追溯这些研究动机的由来。
本书主体内容共17章， 具体安排如下。
1)随机过程与模型， 这方面内容在第1章介绍， 着重讲解平稳随机过程的部分特征（如二阶统计描述）。它是本书其余部分内容的主要基础。
2)维纳滤波器理论及其在线性预测中的应用（第2章和第3章）, 维纳滤波器在第2章中介绍， 它定义了平稳环境下的最佳线性滤波器， 而且提供了线性自适应滤波器的一个基本框架。第3章讲述了线性预测理论， 着重讲述了前向预测和后向预测及其变种， 并以线性预测在语音编码中的应用作为该章的结束。
3)梯度下降法, 在第4章和第5章中讲述。第4章介绍了一种固定型的古老最优化技术（即所谓最速下降法）的基础； 该方法提供了维纳滤波器波的一种迭代演变框架。作为直接对比， 第5章介绍了随机梯度下降法的基本原理； 该方法非常适合处理非平稳环境， 而且通过最小均方(LMS, least-mean-square)和梯度自适应格型(GAL, gradient adaptive lattice)算法阐明了其适用性。
4)LMS算法族， 涵盖了第6章、 第7章、 第8章三章， 具体如下：
● 第6章讨论了LMS算法的各种不同应用， 详尽阐述了小步长统计理论。这一新的理论来源于非平衡热力学的朗之万方程， 这为LMS算法的瞬态过程提供了一个比较准确的评估。计算机仿真证明了该理论的有效性。
● 第7章和第8章扩展了传统的LMS算法族。这一点是通过详细论述归一化LMS算法、 仿射投影自适应滤波算法、 频域和子带自适应LMS滤波算法来实现的。仿射投影算法可看做介于LMS算法与递归最小二乘（RLS）算法的中间算法。频域和子带自适应LMS滤波算法将在后面讨论。
5)最小二乘法和RLS算法, 分别在第9章和第10章介绍。第9章论述了最小二乘法， 它可看做源于随机过程的维纳滤波器的确定性副本。在最小二乘法中， 输入数据是以块(block-by-block)为基础进行处理的。过去因其数值计算复杂性而被忽视的分块方法正日益引起人们的关注， 这得益于数字计算机技术的不断进步。第10章在最小二乘法的基础上设计了RLS算法， 并详尽阐述了其瞬态过程的统计理论。
6)鲁棒性、 有限字长效应和非平稳环境下的自适应问题， 分别在第11章、 第12章和第13章介绍。具体如下：
● 第11章介绍了H∞理论， 它为鲁棒性提供数学基础。在这一理论下， 只要所选的步长参数很小， LMS算法在H∞的意义下就是鲁棒的； 但在面对内在或外在干扰的非平稳环境时， RLS算法的鲁棒性不如LMS算法。本章也讨论了确定性鲁棒性与统计有效性（效率）之间的折中问题。
● 第5~10章的线性自适应滤波算法理论以无限精度运算为基础。然而， 当用数字形式实现任何自适应滤波算法时， 将产生由有限精度运算所引起的有限字长效应。第12章讨论了LMS和RLS算法数字实现时的有限字长效应。
● 第13章扩展了LMS和RLS算法理论。这是通过评价和比较运行于非稳定环境(设其为马尔可夫模型)下LMS和RLS算法的性能来实现的。这一章的第二部分主要研究两个新算法：其一为增量delta-bar-delta（IDBD）算法， 它由传统LMS算法的步长参数的向量化实现； 其二为自动步长法， 它以IDBD算法为基础， 通过实验构成一个自适应步骤， 以避免手动调整步长参数。
7)卡尔曼滤波理论及相关的自适应滤波算法， 这些内容在第14章、 第15章、 第16章中介绍， 具体如下：
● 第14章介绍了RLS算法。实际上， RLS算法是著名的卡尔曼滤波的一个特例。突出状态的概念是卡尔曼滤波的一个重要特点。因此， 很好地理解卡尔曼滤波理论（也包括将平稳环境下的维纳滤波器作为其特例）是十分重要的。此外， 应注意到协方差滤波和信息滤波算法是卡尔曼滤波器的变种。
● 第15章在协方差滤波和信息滤波的基础上导出了它们各自的平方根形式。具体而言， 就是引入前阵列和后阵列的思想， 从而促使一类使用吉文斯(Givens)旋转脉动阵列的新的自适应滤波算法的产生。
● 第16章介绍了另一类新的阶递归最小二乘格型（LSL）滤波算法， 该算法也建立在协方差型和信息算法型卡尔曼滤波器的基础上。为了实现这类算法， 需要利用一种数值鲁棒的所谓QR分解方法。阶递归LSL算法的另一个有吸引力的特点是其计算复杂度遵循线性规律。但是， 这些算法的所有优点都是以数学和编码上的高度复杂性为代价的。
8)无监督(自组织)自适应， 即盲反卷积， 在本书的最后一章即第17章介绍。这里所谓的“盲”表示在完成自适应滤波的过程中不需要期望响应的协助。这个艰巨任务是采用基于如下概念的模型完成的：
● 子空间分解， 在本章第一部分介绍， 提供了一个灵巧的数学上解决盲均衡问题的方法。为了解决这个问题， 我们使用通信系统中固有的循环平稳性来寻找信道输入的二阶统计量， 以便用无监督方式均衡信道。
● 高阶统计量， 在本章第二部分介绍， 它可以是显式的或者隐式的。这部分内容致力于导出一类盲均衡算法， 统称为Bussgang类盲均衡算法。本章第二部分还包含一类以源于最大熵法的信息理论方法为基础的新的盲均衡算法。
本书还包含一个后记， 它分为两个部分：
● 后记第一部分回顾前面章节中介绍的内容， 最后总结了鲁棒性、 有效性(效率)和复杂性， 并且说明了LMS和RLS算法在这三个根本性的重要工程问题上所起的作用。
● 后记第二部分包括以核函数（它起着计算单元隐层的作用）为基础的一类新的非线性自适应滤波算法。这些核函数来源于再生核希尔伯特空间（RKHS）， 而且这里给出的内容源自机器学习文献中已被很好研究的那些资料。特别是， 后记将注意力聚焦于LMS滤波， 包括传统LMS算法在其中所起的关键性作用； 而且简要讨论了自适应滤波中这个相对较新的方法的属性和限制。
本书还包含如下内容的附录：
● 复变函数
● 沃廷格(Wirtinger)微分
● 拉格朗日(Lagrange)乘子法
● 估计理论
● 特征值分析
● 朗之万函数
● 旋转和反射
● 复数维萨特(Wishart)分布
在本书的不同部分， 应用了由这些附录中给出的基本思想和方法。
辅助材料
● 本书还附有一个术语表， 由一系列定义、 记号、 约定、 缩略词和书中涉及的主要符号组成。
● 本书中引用的所有出版物都汇编在参考文献中。每篇参考文献包括作者姓名和出版年份。本书也包括了一个建议阅读部分， 增加了许多其他参考文献以便读者进一步阅读。
例题、 习题与计算机实验
本书各章包括大量例题， 用来说明书中讨论的概念和理论。
本书还包括许多计算机实验， 用来说明LMS和RLS算法的基础理论和应用。这些实验可以帮助读者比较这两种线性自适应滤波算法的不同性能。
本书每一章（除了绪论外）以习题作为结束， 这出于以下两点考虑：
● 帮助读者更深刻地理解该章所包含的内容。
● 激励读者扩展该章所讨论的原理和方法。
题解手册
本书还配有对第1~17章所有习题详细解答的题解手册。选用本书作为教材的教师可直接向出版商申请题解手册。教辅申请方式请参见书末的“教学支持说明”。
所有计算机实验的MATLAB代码， 可在网站http//www.pearsonhighered.com/haykin/上获得。 也可登录华信教育资源网(http//www.hxedu.com.cn)免费注册下载。
两个

　　Simon Haykin：IEEE会士、加拿大皇家学会会士，毕业于英国伯明翰大学电子工程系。现为加拿大McMaster大学的Distinguished University教授，认知系统实验室主任。2002年获国际无线电科学联盟(URSI）颁发的Henry Booker金质奖章。在无线通信与信号处理领域的多个方面著述颇丰，主要研究方向为自适应信号处理与智能信号处理、无线通信与雷达技术，近年来特别关注认知无线电和认知雷达方面的研究。

Contents
Background and Preview 1
1. The Filtering Problem 1
2. Linear Optimum Filters 4
3. Adaptive Filters 4
4. Linear Filter Structures 6
5. Approaches to the Development of Linear Adaptive Filters 12
6. Adaptive Beamforming 13
7. Four Classes of Applications 17
8. Historical Notes 20
Chapter 1 Stochastic Processes and Models 30
1.1 Partial Characterization of a Discrete-Time Stochastic Process 30
1.2 Mean Ergodic Theorem 32
1.3 Correlation Matrix 34
1.4 Correlation Matrix of Sine Wave Plus Noise 39
1.5 Stochastic Models 40
1.6 Wold Decomposition 46
1.7 Asymptotic Stationarity of an Autoregressive Process 49
1.8 Yule–Walker Equations 51
1.9 Computer Experiment: Autoregressive Process of Order Two 52
1.10 Selecting the Model Order 60
1.11 Complex Gaussian Processes 63
1.12 Power Spectral Density 65
1.13 Properties of Power Spectral Density 67
1.14 Transmission of a Stationary Process Through a Linear Filter 69
1.15 Cramér Spectral Representation for a Stationary Process 72
1.16 Power Spectrum Estimation 74
1.17 Other Statistical Characteristics of a Stochastic Process 77
1.18 Polyspectra 78
1.19 Spectral-Correlation Density 81
1.20 Summary and Discussion 84
Problems 85
Chapter 2 Wiener Filters 90
2.1 Linear Optimum Filtering: Statement of the Problem 90
2.2 Principle of Orthogonality 92
2.3 Minimum Mean-Square Error 96
2.4 Wiener–Hopf Equations 98
2.5 Error-Performance Surface 100
2.6 Multiple Linear Regression Model 104
2.7 Example 106
2.8 Linearly Constrained Minimum-Variance Filter 111
2.9 Generalized Sidelobe Cancellers 116
2.10 Summary and Discussion 122
Problems 124
Chapter 3 Linear Prediction 132
3.1 Forward Linear Prediction 132
3.2 Backward Linear Prediction 139
3.3 Levinson–Durbin Algorithm 144
3.4 Properties of Prediction-Error Filters 153
3.5 Schur–Cohn Test 162
3.6 Autoregressive Modeling of a Stationary Stochastic Process 164
3.7 Cholesky Factorization 167
3.8 Lattice Predictors 170
3.9 All-Pole, All-Pass Lattice Filter 175
3.10 Joint-Process Estimation 177
3.11 Predictive Modeling of Speech 181
3.12 Summary and Discussion 188
Problems 189
Chapter 4 Method of Steepest Descent 199
4.1 Basic Idea of the Steepest-Descent Algorithm 199
4.2 The Steepest-Descent Algorithm Applied to the Wiener Filter 200
4.3 Stability of the Steepest-Descent Algorithm 204
4.4 Example 209
4.5 The Steepest-Descent Algorithm Viewed as a Deterministic Search Method 221
4.6 Virtue and Limitation of the Steepest-Descent Algorithm 222
4.7 Summary and Discussion 223
Problems 224
Chapter 5 Method of Stochastic Gradient Descent 228
5.1 Principles of Stochastic Gradient Descent 228
5.2 Application 1: Least-Mean-Square (LMS) Algorithm 230
5.3 Application 2: Gradient-Adaptive Lattice Filtering Algorithm 237
5.4 Other Applications of Stochastic Gradient Descent 244
5.5 Summary and Discussion 245
Problems 246
Chapter 6 The Least-Mean-Square (LMS) Algorithm 248
6.1 Signal-Flow Graph 248
6.2 Optimality Considerations 250
6.3 Applications 252
6.4 Statistical Learning Theory 272
6.5 Transient Behavior and Convergence Considerations 283
6.6 Efficiency 286
6.7 Computer Experiment on Adaptive Prediction 288
6.8 Computer Experiment on Adaptive Equalization 293
6.9 Computer Experiment on a Minimum-Variance Distortionless-Response
Beamformer
302
6.10 Summary and Discussion 306
Problems 308
Chapter 7 Normalized Least-Mean-Square (LMS) Algorithm and Its
Generalization 315
7.1 Normalized LMS Algorithm: The Solution to a Constrained Optimization Problem 315
7.2 Stability of the Normalized LMS Algorithm 319
7.3 Step-Size Control for Acoustic Echo Cancellation 322
7.4 Geometric Considerations Pertaining to the Convergence Process for Real-Valued
Data 327
7.5 Affine Projection Adaptive Filters 330
7.6 Summary and Discussion 334
Problems 335
Chapter 8 Block-Adaptive Filters 339
8.1 Block-Adaptive Filters: Basic Ideas 340
8.2 Fast Block LMS Algorithm 344
8.3 Unconstrained Frequency-Domain Adaptive Filters 350
8.4 Self-Orthogonalizing Adaptive Filters 351
8.5 Computer Experiment on Adaptive Equalization 361
8.6 Subband Adaptive Filters 367
8.7 Summary and Discus