机器学习是人工智能的一个重要领域,源自于统计模型拟合。机器学习通过采用推理及样本学习等方式从数据中获得相应的理论,尤其适合解决“噪声”模式及大规模数据集等问题。《基于机器学习的遥感影像分类方法研究》是作者刘颖几年来科研成果的总结。全书共7章,围绕遥感图像分类这一主线,深入研究监督学习、半监督学习、集成学习三大主流机器学习算法,构建完整的遥感图像分类体系。在理论研究的基础上,结合实例,详细介绍了改进机器学习算法及其在遥感分类处理中的应用情况。
《基于机器学习的遥感影像分类方法研究》内容充实、结构清晰、实例丰富,适合从事计算机及相关学科的师生,以及相关科研院所的科研人员阅读。
《基于机器学习的遥感影像分类方法研究》是作者刘颖几年来科研成果的总结,围绕遥感图像分类这一主线,深入研究监督学习、半监督学习、集成学习三大主流机器学习算法,构建完整的遥感图像分类体系。在理论研究的基础之上,结合实例,详细介绍改进机器学习算法及其在遥感分类处理中的应用情况。内容涵盖:关键技术研究国内外研究进展;遥感影像数字化;支持向量机参数优化方法研究;基于模糊聚类的半监督支持向量机土地覆盖分类方法研究;基于半监督集成支持向量机的土地覆盖分类研究等,供相关读者阅读参考。
长期以来,土地覆盖变化的研究一直是全球环境研究的热点,无论从社会经济角度还是从生态环境角度均具有重要的意义。为了全面掌握土地覆盖变化信息,迫切需要使用切实有效的方法实现土地覆盖宏观、动态、大尺度的制图与监测,遥感技术的迅猛发展为这一需求提供了可能。然而,目前遥感信息处理和分类的水平大大滞后于遥感影像获取技术的发展。因此,研究新理论、新方法以提高遥感信息的处理能力具有十分重要的意义和应用前景。
支持向量机(Support Vector Machines,SVM)是近年来机器学习与模式识别领域新的研究焦点,它具有结构简单、适应性强、全局最优等特点,能较好地解决高维特征、非线性,过学习与不确定性等问题,广泛地应用于土地覆盖遥感分类。尽管SVM在遥感信息获取中取得了很好的效果,但仍存在有待改进和完善之处,主要表现在以下两方面:①参数选择的问题,即不准确的分类参数常常影响分类器的分类精度;②样本不足且代表性不好的问题,即当训练样本集远远小于测试样本集时,即便SVM具有较强的泛化性,也难以给出令人满意的结果。围绕这些问题,本书开展了如下工作:
1. 选择图们江下游,中、朝、俄交界处作为研究对象。以行列号115-30一景、近20年的6幅不同时相的Landsat ETM/TM影像作为研究材料。分别讨论本书所采用的影像合成方式、特征采集方法、土地覆盖分类依据,以及特征选取方法,为进一步研究分类方法提供必要的数据材料。
2. 针对SVM分类过程中核函数选择及参数设置不准确的缺点,提出一种基于自适应变异粒子群优化SVM参数模型(Adaptive Mutation Particle Swarm Optimization SVM,AMPSO-SVM)。AMPSO在运行过程中根据群体适应度方差以及最优解的大小来确定当前最佳粒子的变异概率。与传统粒子群(Particle Swarm Optimization,PSO)优化SVM参数模型(PSO-SVM)相比,AMPSO-SVM能够快速摆脱局部搜索的束缚,提高全局搜索的性能,克服早熟收敛造成分类参数寻找不准确的缺点,同时保持了种群的多样性。最后应用该模型进行多光谱遥感影像的土地覆盖分类实验,并与SVM分类方法、PSO-SVM分类方法进行对比。分类精度从传统PSO-SVM的91.50%提高到93.59%,Kappa系数由0.8903提高为0.9175。c和γ的取值得到的分类结果明显优于SVM的手工设置值100和0.143所得到的结果(分类精度87.07%,Kappa系数0.8372)。结果表明,AMPSO-SVM模型有效地提高了遥感影像的分类精度。
3. 提出了一个新的自训练半监督支持向量机方法(PS3VM)。自训练半监督算法最大的弊端在于“错误累积”现象,即在学习过程中,一旦某个分类出错,将导致这个错误被继续学习与加强。为了克服这一现象,本书在自训练半监督SVM(S3VM)的基础上引入两个算法:①从分类器的构造角度,利用自适应变异粒子群算法对SVM参数优化,以提高单个分类器的分类精度;②在未标记样本的标注阶段,采用Gustafson-Kessel模糊聚类算法(GKclust)将最接近样本的有效无标签样本作为标注对象,以控制错误信息的输入。为了测试所提模型的有效性,分别针对遥感的数字化集合和影像集合进行分类实验,并与AMPSO-SVM(简称PSVM)监督分类方法、未改进自训练S3VM方法进行对比实验,由PS3VM产生的分类精度(95.10%)分别比S3VM(93.06%)高出2.04%;比PSVM(90.81%)高出4.29%。实验结果一方面说明了已标记样本和未标记样本的用量比例必须满足一定的阈值要求(1:3),才能产生最小的泛化误差;另一方面证实了利用所提出学习框架能够获得较好的分类精度。
4. 对于样本不足且代表不好而造成的小样本问题,学者们普遍采用半监督学习和集成学习两种范式对SVM进行改进。然而,集成学习与半监督学习之间存在许多互补性,且二者的混合范式(即半监督集成)可以更大程度地改进学习系统的泛化能力。因此,本文设计了一种新的半监督集成方案(EPS3VM),PS3VM半监督方法利用未标记数据有效地应对训练样本不足的同时也产生若干性能差异的个体分类器,将这些个体分类器采用加权集成策略进一步提高分类模型的泛化能力。为了测试其性能,应用该模型进行多光谱遥感影像的土地覆盖分类实验,并与其相关算法进行对比。分类精度从92.16%(PS3VM)提高到96.88%,Kappa系数由0.9010提高为0.9606。结果表明,EPS3VM克服传统SVM参数选择不准确的同时有效地应对了小样本问题,分类性能更优。
本书是在吉林财经大学资助下,国家自然科学基金项目(61202306)、吉林省科技厅项目(20130522177JH,201215119,20100507)、吉林省教育厅十二五重点规划项目(2012185)、吉林省高校新世纪优秀人才支持计划、吉林财经大学青年学俊等项目的支持下完成的。值此专著完成之际,诚挚地感谢吉林财经大学的资金支持,感谢中国科学院东北地理与农业生态研究所张柏教授、吉林财经大学管理科学与信息工程学院王丽敏教授及长春工业大学韩旭明副教授的热情帮助和指点。
由于作者水平有限,加之机器学习领域研究领域纵深宽广,书中难免有考虑不周之处,诚请广大读者批评指正。
刘?颖
2014年1月于长春
第1章 绪论
1.1 基本概念
1.1.1 土地覆盖
1.1.2 遥感技术
1.1.3 机器学习
1.2 研究意义
1.2.1 丰富土地覆盖遥感分类的理论与方法
1.2.2 为土地利用/覆盖的动态监测、保护和管理提供技术支持
1.2.3 一种新的自适应半监督支持向量机遥感分类模型的提出
1.2.4 半监督学习思想和集成学习思想的融合
1.3 本书研究方法及结构安排
1.3.1 研究方法
1.3.2 结构安排
参考文献
第2章 关键技术国内外研究现状 第1章 绪论
1.1 基本概念
1.1.1 土地覆盖
1.1.2 遥感技术
1.1.3 机器学习
1.2 研究意义
1.2.1 丰富土地覆盖遥感分类的理论与方法
1.2.2 为土地利用/覆盖的动态监测、保护和管理提供技术支持
1.2.3 一种新的自适应半监督支持向量机遥感分类模型的提出
1.2.4 半监督学习思想和集成学习思想的融合
1.3 本书研究方法及结构安排
1.3.1 研究方法
1.3.2 结构安排
参考文献
第2章 关键技术国内外研究现状
2.1 遥感影像信息提取方法
2.2 SVM遥感分类研究进展
2.2.1 SVM在遥感分类中的优点
2.2.2 SVM在遥感影像分类中的不足
2.2.3 SVM在遥感影像分类中的应用领域
2.3 半监督学习理论及研究进展
2.4 半监督分类中的聚类算法
2.5 集成学习理论及研究进展
参考文献
第3章 遥感图像数字化
3.1 研究区位置及遥感影像集
3.1.1 研究区位置
3.1.2 研究区影像集
3.1.3 分类体系的建立
3.2 遥感影像数字集
3.2.1 样本采集
3.2.2 特征选取
3.3 本章小结
参考文献
第4章 SVM参数优化方法研究
4.1 SVM理论及参数优化算法研究进展
4.1.1 SVM的核心思想
4.1.2 SVMN论
4.1.3 SVM参数优化方法研究进展
4.2 基于自适应变异粒子群参数优化的土地覆盖分类模型
4.2.1 传统粒子群算法(PSO)
4.2.2 自适应变异粒子群优化算法(AMPSO)
4.2.3 土地覆盖分类模型构建
4.3 实验结果与分析
4.3.1 实验影像选取
4.3.2 特征选取及样本集表示
4.3.3 核函数的选取
4.3.4 实验参数及精度评价指标
4.3.5 实验结果与比较
4.4 本章小结
参考文献
第5章 基于模糊聚类的半监督支持向量机土地覆盖分类方法研究
5.1 概述
5.2 自训练半监督学习
5.2.1 无标签样本的重要性
5.2.2 自训练半监督算法
5.3 模糊聚类理论
5.3.1 聚类的概念
5.3.2 常用聚类算法
5.3.3 聚类有效性验证
5.4 一种新的自训练半监督支持向量机分类模型构建
5.4.1 未标记样本的选择依据
5.4.2 基于GKclust的自训练半监督支持向量机设计流程
5.4.3 基于GKclust的自训练半监督支持向量机算法
5.5 实验结果与分析
5.5.1 遥感影像数字化
5.5.2 参数设置
5.5.3 模糊聚类算法的比较
5.5.4 无标签样本的参与比例
5.5.5 土地覆盖遥感图像分类
5.6 本章小结
参考文献
第6章 基于半监督集成支持向量机的土地覆盖分类研究
6.1 概述
6.2 集成学习框架
6.2.1 个体生成方法
6.2.2 结论生成方法
6.3 半监督集成支持向量机的土地覆盖分类模型构建
6.3.1 个体生成算法
6.3.2 结论生成算法
6.4 实验结果与分析
6.4.1 实验数据
6.4.2 结果与精度分析
6.5 本章小结
参考文献
第7章 总结与展望
7.1 研究结论
7.2 本书不足之处
7.3 研究展望