本书主要分为三部分：大数据基础、智能电网，以及大数据在通信与传感技术方面的应用，其中随机矩阵理论方法是其理论基础。第一部分主要讨论大数据建模和大数据分析两个方面，首先是大数据的数学基础（随机矩阵理论方法），接着是实际应用的研究。第二部分讨论智能电网的应用与需求、技术挑战、大数据的应用、电网监控与状态估计、虚假数据注入攻击与状态估计、需求响应等。第三部分讨论大数据在通信新技术（5G，MIMO）和传感技术（分布式检测与估计）方面的应用。本书将大数据视为信息科学和数据科学的结合，而智能电网、通信新技术和传感技术是大数据应用领域特别有前景的三个方面。

Robert C. Qiu（邱才明）教授，IEEE Fellow，上海交通大学大数据工程技术研究中心主任，上海交通大学讲席教授，美国田纳西理工大学终身教授。Qiu教授于1987年在西安电子科技大学获得理学学士学位，1990年在电子科技大学获得硕士学位，1995年在美国纽约大学理工学院获得博士学位。1995?1997年担任威讯（GTE）实验室技术研究员；1997?2000年担任朗讯科技有限公司贝尔实验室技术研究员；2000?2003年担任Wiscom（无线通信）科技有限公司共同发起人、CEO及总裁。Qiu教授的主要研究方向为：智能电网、大数据、无线网络与无线定位、雷达等领域。
赵生捷，博士，同济大学电子与信息工程学院教授，博士生导师。拥有中国科学技术大学学士学位和中国航空航天部第二研究院硕士学位，美国得克萨斯州A＆M大学（Texas A＆M University）电子与计算机工程学博士学位。曾供职于美国朗讯科技公司贝尔实验室和中国航天科工集团有限公司，是美国阿尔卡特朗讯（Alcatel-Lucent）技术学院院士，新一代宽带无线通信产品系统专家，美国电气电子工程师学会（IEEE）高级会员。赵生捷博士在大数据、无线通信、智能视频处理、数字信号处理领域有20多年国际国内行业经验，领导和参加过多项计算机、电子与通信领域的研究和开发项目。在国际电子信息领域的顶级杂志IEEE期刊、美国贝尔实验室技术期刊（Bell Labs Technical Journal）和IEEE国际会议共发表30多篇论文，持有20多项美国和中国发明专利或专利申请。目前的研究领域为大数据、无线通信、信号处理、多媒体处理和车联网。

目录
第1章 绪论
1.1 大数据： 基本概念
1.1.1 大数据： 总览
1.1.2 DARPA的XDATA项目
1.1.3 美国国家自然科学基金
1.1.4 大数据的机遇和挑战
1.1.5 大数据的信号处理与系统工程
1.1.6 大数据的大型随机矩阵
1.1.7 美国联邦政府的大数据
1.2 大数据挖掘
1.3 大数据的数学介绍
1.4 大数据的数学理论
1.4.1 玻耳兹曼熵和H理论
1.4.2 香农定理和经典信息论
1.4.3 Dan-Virgil Voiculescu和自由中心极限定理
1.4.4 自由熵
1.4.5 Jean Ginibre和他的非厄米随机矩阵
1.4.6 复数Ginibre集合的圆形定律
1.5 智能电网
1.6 大数据和智能电网
1.7 阅读指南
文献备注
第一部分 大数据基础
第2章 大数据系统的数学基础
2.1 大数据分析
2.2 大数据： 传感、 收集、 存储和分析
2.2.1 数据收集
2.2.2 数据清理
2.2.3 数据表示和建模
2.2.4 数据分析
2.2.5 数据存储
2.3 智能算法
2.4 智能电网的信号处理
2.5 电网能效的监测与优化
2.6 电网的分布式传感和测量
2.7 流数据的实时分析
2.8 大数据的显著特点
2.8.1 奇异值分解和随机矩阵理论
2.8.2 异质性
2.8.3 噪声积累
2.8.4 伪相关
2.8.5 偶然内生性
2.8.6 对计算方法的影响
2.9 量子系统的大数据
2.10 金融系统的大数据
2.10.1 方法论
2.10.2 等时相关性Marchenko-Pastur定律
2.10.3 对称时滞相关矩阵
2.10.4 不对称时滞相关矩阵
2.10.5 降噪
2.10.6 幂律尾
2.10.7 自由随机变量
2.10.8 输入和输出变量之间的互相关
2.11 大气系统的大数据
2.12 大数据下的传感网络
2.13 大数据下的无线网络
2.13.1 Marchenko-Pastur定律
2.13.2 单“环”定律
2.13.3 实验结果
2.14 大数据下的交通运输
文献备注
第3章 大型随机矩阵简介
3.1 将高维数据以随机矩阵形式建模
3.2 随机矩阵理论简介
3.3 改变观点： 从向量到测度
3.4 测度的Stieltjes变换
3.5 一个基本的结果： Marchenko-Pastur方程
3.6 线性特征值统计与极限定律
3.7 线性特征值统计量的中心极限定理
3.8 随机矩阵S-1T的中心极限定理
3.9 随机矩阵的独立性
3.10 矩阵值高斯分布
3.11 矩阵值的Wishart分布
3.12 矩量法
3.13 Stieltjes变换法
3.14 大型随机矩阵谱测度的集中
3.15 未来的方向
文献备注
第4章 样本协方差矩阵的线性谱统计
4.1 线性谱统计
4.2 广义Marchenko-Pastur分布
4.2.1 中心极限定理
4.2.2 尖峰总体模型
4.2.3 广义尖峰总体模型
4.3 谱密度函数的估计
4.3.1 估算方法
4.3.2 极限谱分布的核估计量
4.3.3 核估计的中心极限定理
4.3.4 噪声方差的估计
4.4 限制时间序列的谱分布
4.4.1 矢量自回归移动平均（VARMA）模型
4.4.2 通用线性过程
4.4.3 线性过程的大样本协方差矩阵
4.4.4 固定过程
4.4.5 对称自交叉协方差矩阵
4.4.6 具有重尾的大样本协方差矩阵
文献备注
第5章 大型厄米随机矩阵与自由度随机变量
5.1 大型经济/金融体系
5.2 矩阵值的概率
5.2.1 协方差矩阵的特征值谱及其估计
5.3 Wishart-Levy自由稳定的随机矩阵
5.4 自由随机变量的基本概念
5.5 Wishart-Levy随机矩阵的谱分析
5.6 Stieltjes变换的基本性质
5.7 Stieltjes变换的基本定理
5.8 厄米随机矩阵中的自由概率
5.8.1 随机矩阵理论
5.8.2 厄米随机矩阵的自由概率理论
5.8.3 增强自由卷积
5.8.4 随机矩阵的压缩
5.8.5 乘法自由卷积
5.9 随机范德蒙矩阵
5.10 状态估计的非渐近分析
文献备注
第6章 大型非厄米随机矩阵与四元离子自由概率论
6.1 四元自由概率理论
6.1.1 Stieltjes变换
6.1.2 加法自由卷积
6.1.3 乘法自由卷积
6.1.4 厄米矩阵的四元数值函数
6.2 R对角矩阵
6.2.1 R对角矩阵的种类
6.2.2 加法自由卷积
6.2.3 乘法自由卷积
6.2.4 各向同性随机矩阵
6.3 非厄米随机矩阵的和
6.4 非厄米随机矩阵的乘积
6.5 奇异值等价模型
6.6 非厄米随机矩阵的幂
6.6.1 矩阵的幂
6.6.2 谱
6.6.3 内积
6.7 大型非厄米随机矩阵的幂级数
6.7.1 几何级数
6.7.2 幂级数
6.8 随机Ginibre矩阵的乘积
6.9 矩形高斯随机矩阵的乘积
6.10 复杂Wishart矩阵的乘积
6.11 乘积和幂之间的关系
6.12 有限规模的独立同分布高斯随机矩阵的乘积
6.13 复合高斯随机矩阵乘积的Lyapunov指数
6.14 欧氏随机矩阵
6.15 具有独立项和圆形定律的随机矩阵
6.16 圆形定律与离群值
6.17 随机奇异值分解、 单环定律和离群值
6.17.1 有限秩扰动的离群值： 定理6.17.3的证明
6.17.2 内圆内的特征值： 定理6.17.4的证明
6.18 椭圆定律和离群值
文献备注
第7章 数据收集的数学基础
7.1 大数据的结构和应用
7.2 协方差矩阵估计
7.3 大型随机矩阵的谱估计
7.3.1 奇异值阈值
7.3.2 Stein无偏风险估计（SURE）
7.3.3 扩展谱函数
7.3.4 正则化的主成分分析
7.4 矩阵重建的渐近框架
7.4.1 带损失函数的矩阵估计
7.4.2 与大型随机矩阵的联系
7.4.3 渐近矩阵重构
7.4.4 噪声方差的估计
7.4.5 矩阵去噪的最优硬阈值
7.5 最佳收缩
7.6 大规模协方差矩阵估计的收缩方法
7.7 大样本协方差矩阵集合的特征向量
7.7.1 Stieltjes变换
7.7.2 样本特征向量与总体特征向量的对比
7.7.3 样本特征值的渐近最优偏差校正
7.7.4 矩阵估计的精度
7.8 一般的随机矩阵
7.8.1 大规模MIMO系统
文献备注
第8章 矩阵假设检验使用大规模随机矩阵
8.1 激励示例
8.2 两个随机矩阵的假设检验
8.3 期望和方差的特征值界限
8.3.1 特征值的理论位置
8.3.2 Wasserstein距离
8.3.3 样本协方差矩阵——具有指数衰减的元素
8.3.4 高斯协方差矩阵
8.4 经验分布函数的集中度
8.4.1 庞加莱型不等式
8.4.2 经验庞加莱型不等式
8.4.3 随机矩阵的集中度
8.5 随机二次型
8.6 随机矩阵的对数行列式
8.7 一般MANOVA矩阵
8.8 大型随机矩阵的有限秩扰动
8.8.1 非渐近有限样本理论
8.9 高维数据集的假设检验
8.9.1 似然比检验（LRT）和协方差矩阵检验的动机
8.9.2 使用损失函数估计协方差矩阵
8.9.3 协方差矩阵检验
8.9.4 高维协方差矩阵的最优假设检验
8.9.5 球形检验
8.9.6 检验正态分布的多个协方差矩阵的等式
8.9.7 检验正态分布组分的独立性
8.9.8 相互依赖检验
8.9.9 尖峰特征值的存在性检验
8.9.10 大维度和小样本量
8.10 Roy最大根检验
8.11 大型随机矩阵假设的最优检验
8.12 矩阵椭球等高分布
8.13 矩阵椭球等高分布的假设检验
8.13.1 一般结果
8.13.2 两类模型
8.13.3 检验准则
文献备注
第二部分 智 能 电 网
第9章 智能电网的应用和需求
9.1 历史
9.2 概念和愿景
9.3 当今的电网
9.4 未来智能电力系统
第10章 智能电网的技术挑战
10.1 自愈式电力系统的概念基础
10.2 如何使电力传输系统智能化
10.3 作为复杂适应系统的电力系统
10.4 使电力系统成为使用分布式计算机代理的自我修复网络
10.5 配电网
10.6 网络安全
10.7 智能计量网络
10.8 智能电网通信基础设施
10.9 无线传感器网络
文献备注
第11章 智能电网的大数据
11.1 数字的力量： 大数据和电网基础结构
11.2 能源的互联网： 大数据的收敛和云
11.3 边缘分析： 消费者、 电动汽车和分布式生成
11.4 横向主题： 大数据
11.5 智能电网的云计算
11.6 数据存储、 数据访问和数据分析
11.7 大数据的最新处理技术
11.8 大数据迎合智能电网
11.9 大数据的4V： 容量、 类型、 值和速度
11.10 大数据的云计算
11.11 智能电网的大数据
11.12 智能电网信息平台
文献备注
第12章 电网监控与状态估计
12.1 相量测量单元
12.1.1 相量的传统定义
12.1.2 相量测量概念
12.1.3 同步相量定义和测量
12.2 最佳的PMU布局
12.3 状态估计
12.4 基础状态估计
12.5 状态估计的演化
12.6 静态状态估计
12.7 预测辅助状态估计
12.8 相量测量单元
12.9 分布式系统状态估计
12.10 事件触发的状态估计方法
12.11 不良数据的检验
12.12 改进的不良数据检验
12.13 网络攻击
12.14 线路中断检测
文献备注
第13章 虚假数据注入攻击与状态估计
13.1 状态估计
13.2 虚假数据注入攻击
13.2.1 基本原则
13.3 MMSE状态估计与广义似然比检验
13.3.1贝叶斯框架与MMSE估计
13.3.2 统计模型和攻击假设
13.3.3 具有“l1范数正则化”的广义似然比检测器
13.3.4 具有MMSE状态估计的经典检测器
13.3.5 对MMSE和GLRT检测的最优攻击
13.4 非线性测量的稀疏恢复
13.4.1 线性系统的不良数据检验
13.4.2 非线性系统的不良数据检验
13.5 实时入侵检测
文献备注
第14章 需求响应
14.1 为什么吸引需求
14.2 最优实时定价算法
14.3 运输电气化和车对电网应用
14.4 网格存储
文献备注
第三部分 通信与传感技术
第15章 大数据在通信领域的应用
15.1 5G与大数据
15.2 5G无线通信网络
15.3 大规模MIMO
15.3.1 多用户MIMO系统模型
15.3.2 超长的随机向量
15.3.3 良好的传播
15.3.4 预编码技术
15.3.5 下行链路系统模型
15.3.6 随机矩阵理论
15.4 大规模MIMO信道容量的自由概率
15.4.1 非渐近理论： 集中不等式
15.5 认知无线电的光谱传感
文献备注
第16章 大数据感知
16.1 分布式检测和估计
16.1.1 通信时计算
16.1.2 分布式检验
16.1.3 分布式估计
16.1.4 共识算法
16.1.5 具有欧几里得随机矩阵（ERM）的随机几何图
16.2 欧几里得随机矩阵
16.3 分布式计算
附录A 自由概率的一些基本研究结果
附录B 矩阵值随机变量
参考文献