一种用于冬季作物与杂草图像分类的两阶段自监督学习框架

摘要

本研究评估了一种两阶段深度学习流程在冬季作物与杂草图像分类的自监督预训练和监督微调中的应用。实验基于WinterCropWeedDB数据集，采用单一内部划分方式进行，并包含了Grad-CAM可视化结果。

摘要

精准农业需要准确区分冬季作物与杂草，但目前缺乏针对冬季种植系统的标注图像数据。本文研究了一种两阶段深度学习方法，将自监督特征学习与有监督微调相结合，用于冬季作物与杂草图像的分类。本文提出并使用了一个新的冬季作物与杂草图像数据集 WinterCropWeedDB，该数据集包含来自印度中部农田采集的六种冬季作物和四种杂草的1,136张高分辨率图像。在自监督学习的第一阶段，采用基于 SimCLR 的自监督学习方法，结合 InfoNCE 损失函数（温度参数 τ = 0.5），对 EfficientNet-B3 模型进行图像数据上的预训练。平均对比损失值从第一次迭代时的 2.0712 下降至预训练结束时的 1.6835。在第二阶段的有监督微调中，将预训练后的 EfficientNet-B3 模型连接有监督分类头进行微调，并在数据集的一个内部验证划分（30%）上进行测试。微调后的模型达到最高 98.27% 的验证准确率，宏平均 F1 分数为 0.98。本文还对微调后的模型应用梯度加权类激活映射（Grad-CAM）和 Grad-CAM++，以定性可视化对分类预测有贡献的图像区域。实验结果表明，在区域特定的数据集上，采用自监督预训练与有监督微调相结合的方法对冬季作物与杂草图像进行分类是可行的，同时也强调了在独立测试集上进一步验证的重要性。

引言

精准农业 increasingly 采用基于深度学习的计算机视觉方法，以实现作物与杂草的自动分类¹。卷积神经网络在植物识别任务中已被证明是有效的；然而，其性能通常依赖于大量经过精确标注的数据集²。在大多数农业场景中，尤其是在代表性不足的种植系统（如冬季作物）中，获取大量标注图像数据的过程耗时、费力且成本高昂^3,4。这阻碍了面向冬季农业生态系统的数据驱动型决策支持系统的发展。自监督学习（SSL）是一种近年来在表征学习中展现出潜力的学习范式，它利用大量未标注图像来学习具有信息量的特征⁵。通过设计预文本任务（如对比学习），SSL 使神经网络能够学习图像数据中的结构与语义模式，并可将这些模式迁移至有监督学习任务中⁶。先前在农业成像领域的研究表明，当标注数据有限时，基于 SSL 的预训练可提升下游任务的性能，这推动了其在作物与杂草识别问题中的探索与应用^1,7。

同时，半监督学习和对比学习方法也得到了探索。利用有标签和无标签数据的半监督学习方法，如教师-学生学习和伪标签法，已被应用于杂草分类与检测^2,4。最近，具有类别感知目标的对比学习方法显示出从农业图像中学习可迁移表征的潜力，尤其是在类别不平衡或标注数据稀少的情况下^1,3。尽管这些研究指出了半监督学习及相关技术相较于全监督学习的潜在优势，但现有文献大多局限于夏季作物系统、目标检测或大规模数据集。

除了预测准确性之外，深度神经网络内部决策机制的可解释性在实际农业应用中仍然是一个重要的问题。可解释的人工智能（XAI）技术旨在对模型的预测结果提供可理解的解释，从而试图弥合模型预测与人类专业知识之间的差距⁸。基于梯度的可视化算法，如加权类激活映射（Grad-CAM）及其扩展版本Grad-CAM++^9,10，能够生成具有类别区分性的热图，标示出图像中对模型预测最为关键的感兴趣区域。这些算法通常被用于农业图像分析任务中对学习表征进行定性分析，但并不能作为可解释性的正式验证手段。

本研究的主要目的是探讨一种两阶段学习框架在冬季作物与杂草图像分类中的潜力，该框架结合了自监督表征学习、有监督微调以及定性可视化方法。在本研究中，探索了一种两步学习流程在冬季作物与杂草图像分类中的应用，该流程整合了基于SimCLR的自监督预训练和基于EfficientNet-B3的有监督微调。实验在WinterCropWeedDB数据集上进行，该数据集是来自印度中部农田的区域性冬季作物与杂草图像数据集¹¹。实验结果基于单次内部划分进行分析，并采用Grad-CAM和Grad-CAM++对模型注意力进行可视化。本研究旨在探讨将自监督表征学习与可视化方法相结合用于冬季作物与杂草图像分类的可能性，同时充分认识到实验设置的局限性。该工作流程适用于在标注数据有限的区域性作物-杂草数据集上进行探索性评估，而非作为通用性或大规模应用的已验证基准。

方案

数据集描述

WinterCropWeedDB 数据集包含来自印度恰蒂斯加尔邦冬季农田的 1,136 张高分辨率（红、绿、蓝）RGB 图像，涵盖六种冬季作物物种（小麦、鹰嘴豆、豌豆、扁豆、芥菜和草豌豆）以及四种杂草物种（野豌豆、小看麦娘、藜（Chenopodium album）和 Euphorbia clementei）（图 1）。图像采集于自然条件下，包含不同的光照条件、生长阶段和复杂的背景环境。所有图像最初均未标注，仅用于自监督预训练。为进行监督式微调，图像经人工标注后通过分层抽样划分为训练集（70%）和验证集（30%）。验证集仅用于模型内部评估，未进行数据增强。为解决训练过程中的类别不平衡和模型鲁棒性问题，仅对训练集实施数据增强。增强技术包括随机旋转（±20°）、水平翻转、缩放、平移、亮度调整以及轻微的仿射变换。每类训练样本均增强至目标数量 150 张，最终形成共 1,500 张训练图像，而验证集包含 347 张原始图像。为避免评估偏差，验证集中未包含任何增强或合成图像。除保留验证外，还在原始标注数据集上进行了分层五折交叉验证作为二次分析。在每一折中，仅对训练集进行数据增强，验证集保持不变，以确保与主评估方案的一致性。

自监督与监督模型训练的计算工作流程

采用了一个两步计算流程，以研究将自监督表示学习与有监督微调相结合用于冬季作物与杂草图像分类的可行性（图2）。该流程包括：（i）使用未标记图像进行自监督预训练，以及（ii）使用部分已标记图像样本进行有监督微调。所有图像在训练前均被调整为300 × 300像素，并进行了归一化处理。模型评估仅在一个内部划分上进行，未使用外部测试集。

第一阶段——自监督预训练

在初始阶段，采用 EfficientNet-B3 架构作为骨干网络，构建了一种受 SimCLR 启发的自监督学习框架。双层投影头将骨干网络的表示降维至128维的嵌入空间。在自监督学习中，每张图像通过随机缩放裁剪、水平翻转、颜色变换、高斯模糊以及灰度化处理，转换为两个不同的视图。这两个视图被共同处理，以联合优化对比损失函数。自监督学习过程共进行30个训练轮次（epoch），其中每个epoch表示在优化过程中整个训练数据集完整通过模型一次，采用批量大小为16的Adam优化器（一种自适应梯度优化算法，通过估计梯度的一阶和二阶矩来调整训练过程中的学习率）。为确保训练稳定，采用了最大范数为1.0的梯度裁剪。此外，每个epoch结束后均保存模型检查点，以确保实验可重复性。在自监督学习过程中计算 InfoNCE 损失时，温度参数值设为0.5。

第二阶段——监督式微调

自监督预训练完成后，移除投影头，并使用预训练的主干网络权重进行有监督的微调。在主干网络上添加一个全连接分类器头，用于多类别分类。微调仅使用训练集中有标签的图像。有监督训练采用带类别权重和标签平滑的交叉熵损失函数，以应对类别不平衡问题。优化器选用Adam，主干网络的学习率为1 × 10⁻⁵，分类器的学习率为1 × 10⁻⁴。使用学习率调度器，在验证准确率趋于稳定时降低学习率。训练共进行20个轮次，并保存验证准确率最高的模型检查点用于评估。

除了主要的留出法评估外，还对标注数据集进行了分层五折交叉验证作为附加分析。在每一折中，数据增强仅在训练集上进行，验证集保持不变。交叉验证的结果被单独列出，未用于模型选择或检查点的优化。本研究中报告的性能指标仅基于内部验证集的划分，反映了当前实验设置下观察到的性能结果。

Grad-CAM 与 Grad-CAM++ 可视化

为了对模型中的注意力进行定性分析，采用了基于梯度的类别激活映射方法（Grad-CAM 和 Grad-CAM++）作用于微调后的模型。特征图和梯度来自基础网络的最后一个卷积层，并针对选定的验证图像生成类别特异性的热图。这些热图仅用于模型的定性分析，未进行验证。 材料表 列出了本工作流程中使用的所有硬件、软件库、数据集和自定义训练脚本。

结果

先前方法及工作流程定位概述

表1给出了先前应用于农作物与杂草识别的代表性学习方法的总结。表1概述了监督学习、半监督学习和自监督学习策略、所使用的数据集、报告的结果以及存在的局限性。大多数早期研究集中于夏季作物种植系统或目标检测任务，并在相对较大的数据集上进行评估，因此针对特定区域的冬季作物与杂草分类场景的研究仍较为有限。

表1：应用于农作物与杂草识别的代表性学习方法概述。 对以往关于农作物与杂草分类研究工作的总结，列出了各项研究中采用的学习策略、数据集、问题定义、取得的结果以及观察到的局限性。请点击此处下载该表格。

表2展示了本研究中具有代表性的现有作物-杂草分类...

讨论

本研究探讨了一种两步深度学习方法在WinterCropWeedDB数据集上进行冬季作物与杂草图像分类的应用，该方法包括基于SimCLR思想的自监督预训练和有监督微调。结果表明，所提出的方法可在特定区域的冬季农业图像数据集上可靠地进行训练，并在内部验证集的一个划分上进行测试。本节将对该研究的结果、意义及局限性进行分析。

在农业计算机视觉领域，以往的研究已探讨了用于作物与杂草分类的监督学习、半监督学习和自监督学习策略，且主要关注夏季作物系统或目标检测任务。近期的自监督学习策略，尤其是基于对比学习的方法，已显示出从无标签农业图像中获取可迁移表征的潜力。然而，这些策略在特定区域冬季作物与杂草图像分类中的应用，特别是多类别图像分类方面，仍相对缺乏深入研究。

在1,136张图像上的自监督预训练使得InfoNCE对比损失在30个训练周期内持续下降，表明表征学习阶段的优化过程稳定。在对预训练主干网络使用标注数据集进行微调期间，模型在验证集上的准确率和宏平均F1分数方面表现良好。 混淆矩阵及每个类别的性能指标显示，大多数作物和杂草类别...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
CUDA 工具包	NVIDIA	12.8
cuDNN	NVIDIA	9.1
图形处理器 (GPU)	NVIDIA	GeForce RTX 5050 笔记本电脑 GPU
Matplotlib	Matplotlib 开发者	3.9.2
NumPy	NumPy 开发者	1.26.0
操作系统	Microsoft	Linux (WSL2)，内核 6.6.87
Python	Python 软件基金会	3.12.7
PyTorch	PyTorch 基金会	2.1.0（开发版本）
scikit-learn	scikit-learn 开发者	1.5.1
timm	GitHub 仓库	1.0.24
Torchvision	PyTorch 基金会	0.25.0（开发版本）
WinterCropWeedDB	Mendeley Data，DOI: 10.17632/m4h6zdsh79.1	版本 1