大数据时代，数据呈现出诸如海量、高维、异构、多类型等新特征，对数据采集、存储、处理与学习等提出了新的要求与挑战。本书在统计学习理论框架下，以平衡学习性能与学习效率为主线，基于核方法建立一系列高效核学习机，并用以解决实际预测问题。本书首先探讨经典核学习模型性能的改进与优化，并构造相应学习机，进而探讨减少工作集规模的两种方法，构造局部学习机与稀疏学习机，最后引入在线学习模式，构造稳健、高效的自适应在线学习机。

 
        高效率预测方法普遍适用于经管、金融、智能控制、智能交通、工程管控以及人文社会科学等领域，所得成果的应用并不限于预测，其构造思路与相关理论技术亦可自然拓展至模式识别或其他问题与领域，也为大数据背景下的数据分析与处理提供了一些具体思路与方法。

 
        本书可供学习统计学习、数据挖掘、应用领域数据分析与处理的大学生、研究生及相关专业技术人员学习和参考。 

无

第1章绪论1
 
 
1?1研究背景与意义1
 
1?2本书内容及结构4
 
第2章统计学习理论与核方法7
 
 
2?1统计学习理论7
 
2?1?1经验风险最小化8
 
2?1?2不定积分方程12
 
2?1?3结构风险最小化18
 
2?2核方法21
 
2?2?1核与再生希尔伯特空间22
 
2?2?2正则化方法与表述定理25
 
2?2?3常用核学习机26
 
第3章综合优化的核回归机28
 
 
3?1引言28
 
3?2Model?Optimizing SVR30
 
3?2?1学习机参数的设计与改进30
 
3?2?2学习机参数的优化与选择34
 
 
 
 
 
 
 
 
 
3?2?3特征选择38
 
3?3实验结果与分析40
 
3?3?1GOVI数据集40
 
3?3?2Sunspot数据集46
 
3?3?3Mackey-Glass数据集48
 
3?3?4电力负荷数据集49
 
3?4本章小结50
 
 
第4章高效局部核学习机52
 
4?1引言52
 
4?2局部核学习机53
 
4?2?1局部风险最小化53
 
4?2?2局部核回归55
 
4?2?3KNN-SVR56
 
4?3模型优化57
 
4?3?1留一法57
 
4?3?2PS算法60
 
4?4实证分析62
 
4?4?1试验设置62
 
4?4?2实验结果与分析63
 
4?5本章小结67
 
 
 
 
 
 
 
第5章高效简化核学习机69
 
 
5?1引言69
 
5?2基于直接简化策略的核学习机71
 
5?2?1实现DS的Cholesky分解算法72
 
5?2?2实现DS的共轭梯度算法73
 
5?2?3简化学习的其他相关问题75
 
5?3基于非二次损失的简化学习机77
 
5?4实证分析79
 
5?4?1试验设置80
 
5?4?2实验结果与分析80
 
5?5本章小结84
 
 
第6章在线自适应核学习机86
 
 
6?1引言86
 
6?2在线核学习88
 
6?2?1在线学习的显式更新88
 
6?2?2在线学习的隐式更新90
 
6?3在线学习的SMD调节92
 
6?3?1SMD方法92
 
6?3?2基于SMD的学习率调节93
 
6?3?3隐式更新的SMD调节95
 
6?4在线学习的LSMD调节96
 
 
 
 
 
 
 
 
6?4?1推广的在线学习97
 
6?4?2基于LSMD的学习率调节99
 
6?4?3偏置项的自适应学习100
 
6?5实证分析101
 
6?5?1试验设置101
 
6?5?2在线学习的隐式更新102
 
6?5?3推广的在线学习103
 
6?5?4显式更新学习率的LSMD调节104
 
6?5?5隐式更新学习率的自适应调节107
 
6?5?6其他相关问题的验证与分析113
 
6?6本章小结114
 
 
第7章总结与研究展望116
 
7?1总结116
 
7?2研究展望118
 
 
附录本书相关定理证明121
附录A第4章相关定理证明121
 
定理4?2?1的证明121
 
定理4?3?1的证明122
 
附录B第5章相关定理证明123
 
命题5?2?3的证明123
 
附录C第6章相关定理证明125
 
 
 
 
 
 
 
定理6?2?3的证明125
 
定理6?4?1的证明127
 
定理6?4?2的证明128
 
定理6?4?3的证明129
 
参考文献131
 
插图索引142
 
附表索引143 

        本书以学习理论解决数据分析问题必将给统计学带来新的活力，本书在此方面做了有益的尝试。所得成果应用并不局限于预测，其构造思路与相关理论技术亦可推广到其他非核方法的学习领域。所做工作丰富了数据分析处理的理论方法，对统计实践具有一定的指导意义