本书基于国家自然科学基金项目和江西省自然科学基金项目研究成果，以图像分类、语义分割和姿态估计这些有代表性的视觉任务为例，研究使用迁移学习技术帮助模型用更低廉的数据学习更多的新类别，以及用更易得到的测试数据来保持模型的测试性能。本书分为八章，主要内容包括计算机视觉技术的现状与迁移学习方法的作用；计算机视觉与迁移学习技术的基础知识；基于相似度迁移的细粒度分类模型及其实验效果；基于相似度迁移的语义分割模型及其实验效果；如何使用迁移学习技术来降低深度学习模型对于测试样本收集的完整信息的依赖，从而让模型能够应用于那些难以获取某些信息的广阔场景中；如何学习可迁移的关键点及链接，从而实现对任意类别物体的姿态估计；如何学习可迁移的提示与关联,仅用微量样本来实现准确的姿态估计。
本书内容先进，结构清晰，对关键的问题进行了详细的数学论述，并给出了大量的图示和性能对比表格，以易于读者理解。本书适合作为高等院校计算机科学与技术和其他相关专业“数字图像处理”和“计算机视觉”课程的教学参考书，也可供对迁移学习和计算机视觉领域感兴趣的人员参考。

      近年来，计算机视觉和深度学习技术的不断进步，极大地推动了各种应用的发展和落地，自动驾驶和智能机器人等科幻梦想已经变为现实产品。但目前这个巨大的进步通常依赖于特定应用场景下充足的训练数据和完整的测试数据，并且这些数据大多需要高昂的成本来标注或收集。然而，现实世界中的应用场景多种多样，且在持续不断地发展，所以昂贵的训练数据和完整的测试数据便成了目前严重制约计算机视觉技术进一步发展的瓶颈。迁移学习技术是缓解数据瓶颈的有效手段，它旨在从已有精细标注的数据集中提炼通用的信息来帮助深度学习模型更好地应对缺少标注数据的训练场景或缺少完整数据的测试场景。基于此，深度学习模型可以在新的学习场景下减少对精细标注的训练数据或完整测试数据的依赖程度，从而有更低廉的拓展成本及更广阔的应用空间。
      本书基于国家自然科学基金项目和江西省自然科学基金项目研究成果，以图像分类、语义分割和姿态估计这些有代表性的视觉任务为例，研究使用迁移学习技术帮助模型用更低廉的数据学习更多的新类别，以及用更易得到的测试数据来保持模型的测试性能。本书主要内容及贡献概括如下：
      （1）提出基于相似度迁移的弱样本细粒度分类方法。该方法充分利用为基础种类已准确标注的训练数据学习语义相似度，并将其迁移来辅助模型从低廉易得的网络图片中学习新种类。提出使用样本权重和图正则化两个策略，通过迁移的相似度为网络图片去噪。同时，提出使用对抗损失代价函数进一步增强相似度的可迁移性。该工作可以用更低的数据成本更好地从基础种类拓展学习识别更多的新种类。
      （2）提出基于双重相似度迁移的弱样本语义分割方法。该方法充分利用为基础种类已标注的带像素级语义标签的数据学习语义相似度，并将其迁移来帮助模型从低廉的仅带图片级标签的数据中学习分割新种类。提出使用迁移来的“区域和像素”相似度为新种类预测分割结果，使用迁移来的“像素和像素”相似度为新种类提供像素级监督。同时，提出一个补集代价函数帮助模型学习分割新种类。该工作可以用更低的标注成本更好地从基础种类拓展学习分割更多的新种类。
      （3）提出基于双重注意力迁移的带特权信息的场景识别方法。该方法在训练阶段将模型注意力从深度模态迁移到RGB模态中，所以在仅有RGB模态的测试阶段也能预测深度模态的注意力，补足RGB模态中的信息，从而提升分类性能。并且，提出同时迁移并融合两种注意力机制以进一步增强模型的性能。该工作能够更好地应用于那些难以准确获取深度数据的广泛实际场景中。
      （4）提出一种基于关键点和链接迁移的类别无关姿态估计方法，可直接预测物体的姿态，包括关键点坐标、坐标点可见度和坐标点之间的链接关系。并且，提出基于协同匹配的自适应监督，可增强关键点的语义一致性关系。该工作无须参考样本也可为新类别物体预测完整姿态。
      （5）提出基于提示迁移与关联迁移的极小样本姿态估计方法，可在充分利用深度扩散模型的基础上，仅凭少量标注图像就能对新类别图像进行关键点定位。同时，利用新类别的无标注图像来提升姿态估计结果的准确性。
      本书共八章，各章主要内容概括如下：第1章论述了计算机视觉技术面临的难题和迁移学习的概念及应用场景，并针对问题提出了基于迁移学习技术的解决方案。第2章论述了本书所提出的计算机视觉与迁移学习方法的必备基础知识，以便于在后续的内容中可以更紧凑地描述属于本书方法的创新点和贡献点。第3章论述了基于相似度迁移的弱样本细粒度分类。该工作充分利用现有的带准确分类标签的训练数据辅助深度学习模型从成本低廉的网络图片中学习识别新种类。在该学习模式下，提出了基于相似度迁移的模型算法。第4章论述了基于相似度迁移的弱样本语义分割。该工作充分利用现有的带像素级语义标签的训练数据来帮助深度学习模型从成本低廉的仅含图片级语义标签的训练数据中学习分割新种类。第5章论述了基于注意力迁移的带特权信息的场景识别。该工作将深度信息作为特权信息，并提出了基于双重相似度迁移的模型算法。第6章论述学习可迁移的关键点和连接方法，可估计任意物体姿态。第7章通过学习可迁移的关键点提示与迁移，实现极小样本条件下的姿态估计。第8章总结了本书的研究内容和实验结论，并讨论和展望了本书基于迁移学习的计算机视觉技术的未来方向与发展。
      在撰写本书的过程中，参考了国内外众多研究者的文献资料，衷心地感谢他们对迁移学习和计算机视觉领域的贡献。同时，也非常感谢中国铁道出版社有限公司的支持和编辑团队的辛勤工作。本书受国家自然科学基金（批准号62402201）和江西省自然科学基金资助项目（项目编号20242BAB21006）资助出版。
      最后，衷心希望本书能够给读者带来启发，引发更多有意义的研究工作。著者也相信，迁移学习与计算机视觉技术将得到进一步的发展，造福社会。
      由于著者水平有限，疏漏与不妥之处在所难免，欢迎各位读者批评指正。

      著者
      2024年6月

第1章 绪论 1
1.1 计算机视觉技术面临的难题1
1.2 迁移学习的概念和应用场景3
1.2.1 迁移学习概述4
1.2.2 零样本图像分类和分割5
1.2.3 小样本图像分类和分割9
1.2.4 带特权信息的学习13
1.3 基于迁移学习技术的解决方案14
小结14
第2章 计算机视觉方法的基础知识16
2.1 符号定义16
2.2 常用模块17
2.2.1 全连接层17
2.2.2 卷积层17
2.2.3 池化层18
2.2.4 激活函数18
2.2.5 代价函数19
2.3 骨干网络21
2.3.1 深度残差网络21
2.3.2 特征金字塔网络22
2.4 可变形和调节的卷积层23
2.5 多头注意力模块24
小结25
第3章 基于相似度迁移的弱样本细粒度分类26
3.1 研究动机与方法简介26
3.2 迁移学习与细粒度分类的相关工作29
3.2.1 零样本和小样本学习29
3.2.2 网络监督学习29
3.2.3 弱样本学习30
3.2.4 相似度迁移30
3.3 基于相似度迁移的模型算法31
3.3.1 阶段一：学习相似度网络31
3.3.2 阶段二：学习新种类的分类器33
3.4 基于相似度迁移的弱样本细粒度分类实验分析35
3.4.1 数据与实验设置35
3.4.2 与现有工作的比较36
3.4.3 模型可视化分析38
3.4.4 模块消融实验分析39
3.4.5 模型鲁棒性分析39
3.4.6 相似度迁移的分析41
3.4.7 拓展的弱样本学习探究43
3.4.8 性能显著性分析44
小结44
第4章 基于相似度迁移的弱样本语义分割45
4.1 研究动机与方法简介45
4.2 迁移学习和语义分割方法的相关工作47
4.2.1 弱监督语义分割47
4.2.2 弱样本学习48
4.2.3 相似度迁移48
4.3 基于相似度迁移的模型算法48
4.3.1 模型基础介绍49
4.3.2 模块一：区域和像素的相似度迁移50
4.3.3 模块二：像素和像素的相似度迁移51
4.3.4 模块三：补集代价函数53
4.3.5 训练和测试流程53
4.4 基于相似度迁移的弱样本语义分割实验分析53
4.4.1 数据与实验设置53
4.4.2 与现有工作的比较55
4.4.3 模型可视化分析58
4.4.4 模块消融实验分析60
4.4.5 模型鲁棒性分析60
4.4.6 相似度迁移的分析61
4.4.7 像素点采样个数分析62
4.4.8 像素点构造方法分析62
4.4.9 对于类别拓展的场景探究63
4.4.10 局限性与失败案例分析63
4.4.11 性能显著性分析64
小结65
第5章 基于注意力迁移的带特权信息的场景识别66
5.1 研究动机与方法简介66
5.2 场景识别的相关工作70
5.2.1 RGB-D场景识别70
5.2.2 带特权信息的学习71
5.2.3 注意力机制71
5.3 基于注意力迁移的带特权信息模型算法71
5.3.1 总体网络架构72
5.3.2 模块一：偏移量注意力迁移73
5.3.3 模块二：权重注意力迁移73
5.3.4 模块三：多层的双重相似度迁移74
5.3.5 模块四：防止负迁移75
5.3.6 模型训练和测试75
5.4 对RGB-D数据集进行实验分析76
5.4.1 数据和实验设置76
5.4.2 与现有工作的比较77
5.4.3 模型可视化分析79
5.4.4 模块消融实验分析81
5.4.5 模型鲁棒性分析82
5.4.6 注意力的可迁移性探究82
5.4.7 跨模态迁移的讨论83
5.4.8 注意力层架构分析83
5.4.9 模型训练时耗比较85
5.4.10 骨干网络配置分析85
5.4.11 性能显著性分析86
小结87
第6章 基于关键点和链接迁移的类别无关姿态估计88
6.1 研究动机与方法简介88
6.2 类别无关姿态估计的相关工作90
6.2.1 特定类别的姿态估计90
6.2.2 类别无关的姿态估计90
6.2.3 类别无关的目标检测和分割91
6.3 基于关键点和链接迁移的模型算法91
6.3.1 姿态表征初始化和数据设置92
6.3.2 姿态精化框架的计算流程92
6.3.3 结构感知解码器93
6.3.4 位置感知解码器94
6.3.5 模型训练和测试94
6.4 在MP-100大型数据集上的实验分析95
6.4.1 数据设置和实验设置95
6.4.2 与现有工作的比较96
6.4.3 关键点和链接的可迁移性分析98
6.4.4 关键点和链接的分布范围分析98
6.4.5 使用超类作为新类别的分析99
6.4.6 使用更少基础类别的实验分析99
6.4.7 使用更少基础类别图像数量的实验分析100
6.4.8 消融实验分析100
小结101
第7章 基于提示迁移与关联迁移的极小样本姿态估计102
7.1 研究动机与方法简介102
7.2 提示迁移与关联迁移方法的相关工作104
7.2.1 全监督姿态估计104
7.2.2 少样本姿态估计105
7.2.3 无监督姿态估计105
7.2.4 通过扩散模型的语义对应105
7.2.5 用预训练模型进行提示学习106
7.3 基于提示迁移与关联迁移的模型算法106
7.3.1 整体框架流程106
7.3.2 关键点热图与语义对应关系的提取107
7.3.3 从基础类别中优化关键点提示和聚合网络108
7.3.4 将学习到的提示和语义对应关系迁移到新类别109
7.3.5 模型训练和测试110
7.4 在MP-100大型数据集上的实验分析111
7.4.1 数据配置和实验设置111
7.4.2 与现有工作的比较111
7.4.3 关键点的迁移性分析113
7.4.4 关键点的分布范围分析113
7.4.5 语义关联的迁移性分析114
7.4.6 使用超类作为新类别的分析115
7.4.7 使用更少基础类别的分析115
7.4.8 基础类别和新类别图像数量对模型性能的影响116
7.4.9 消融实验分析116
小结117
第8章 迁移学习和计算机视觉方法总结与未来展望118
8.1 迁移学习和计算机视觉方法总结118
8.2 遗留问题与未来研究的内容展望118
8.2.1 关于学习模式的展望119
8.2.2 关于模型算法的展望120
参考文献121

陈俊杰，江西财经大学讲师，主要研究方向为计算机视觉、迁移学习、无监督学习等，主要教授软件工程、数字图像处理、计算机视觉等课程。主持国家自然科学基金青年项目1项、江西省自然科学基金青年项目1项，发表论文多篇。

本书基于国家自然科学基金项目和江西省自然科学基金项目研究成果，内容前沿。