柑橘目标检测数据集构建与YOLO训练实战全记录

简介：目标检测是计算机视觉的核心任务之一，其效果高度依赖数据质量与标注规范。在深度学习中，PASCAL VOC格式的数据集是训练主流检测模型的通用基础，而标注工具的选择直接影响数据生产效率和标注准确性。以labelimg为代表的本地化标注工具，凭借轻量、快捷和格式兼容性，成为构建小规模专用数据集的首选。当面对农业场景下的果实识别任务时，如何通过合理的数据划分、模型选型和参数调优来提升mAP和准确率，是工程落地的关键。以一套包含697张图像、5200余个标注框的柑橘数据集为例，完整覆盖了从数据构建、标注实操到YOLO系列模型训练与评估的闭环流程。其中涉及的光照多样性、目标遮挡、小目标处理以及NMS阈值调节等经验，不仅适用于果园产量预估和采摘机器人视觉系统，也为其他行业定制目标检测解决方案提供了可复用的参考路径。 搞目标检测的朋友应该都有体会，数据集的坑往往比模型本身的坑更多。最近正好整理了一套柑橘数据集，697张图片加对应的XML标注文件，用labelimg手工标注，跑目标检测训练实测下来识别率能做到90%以上。这篇就把整个数据集的构成、标注工具的使用、训练流程和一些实战中踩过的坑完整记录下来，给正在做农业视觉、果实检测或者想练手目标检测的朋友一个可以直接参考的案例。

先交代一下背景，这套柑橘数据集主要采集的是自然光照条件下的柑橘果树图像，包含不同成熟度、不同遮挡程度、不同拍摄距离的样本。每张图片都对应一个同名的XML标注文件，符合PASCAL VOC格式，可以直接拿来训练YOLO系列、SSD、Faster R-CNN等主流目标检测模型。如果你正准备入坑目标检测，或者正在愁找不到合适的数据集练手，这份记录应该能帮你省下不少时间。

1. 数据集到底有啥？先把这个697张的篮子翻个底朝天

1.1 697张柑橘数据集构成分析

先说数量。697张图片听起来不算多，但做目标检测的人都知道，数据量从来不是单纯看张数的。关键在于样本的多样性和标注的质量。这套数据集的图片分辨率统一在1920x1080左右，拍摄环境覆盖了晴天、阴天、逆光、顺光几种常见情况，这意味着模型在训练时能学到不同光照条件下的特征，不会一换环境就歇菜。

更关键的是，每张图片里的柑橘数量不是固定的，有的是单颗果实特写，有的是整枝多颗果实，还有的是大面积树冠带果。我数了一下，697张图片里标注框总数在5200个左右，平均每张图有7到8个目标。这个密度分布很合理，既能让模型学到单目标检测，也能适应多目标密集场景，尤其是农业场景里果实重叠、遮挡严重的情况，这套数据里都覆盖了。

图片里柑橘的成熟度也有区分，有青果、转色果、成熟果，还有一部分落地果和叶片遮挡果。这个细节很重要，因为实际农业生产中，果实不会像摆拍一样整整齐齐等着你去识别，成熟度的多样性直接决定了模型在真实场景下的鲁棒性。

1.2 一张XML标注文件长啥样

很多人第一次接触VOC格式数据集，看到XML文件就懵了，不知道里面那些标签是什么意思。其实就是一套结构化的描述信息，我用这套数据集里的一张XML文件给大家拆开看：

<annotation> <folder>JPEGImages</folder> <filename>citrus_001.jpg</filename> <path>/home/user/dataset/citrus_001.jpg</path> <source> <database>CitrusDataset</database> </source> <size> <width>1920</width> <height>1080</height> <depth>3</depth> </size> <segmented>0</segmented> <object> <name>citrus</name> <pose>Unspecified</pose> <truncated>0</truncated> <difficult>0</difficult> <bndbox> <xmin>356</xmin> <ymin>287</ymin> <xmax>584</xmax> <ymax>512</ymax> </bndbox> </object> </annotation>

每个XML文件的核心就是<object>标签里的那个<bndbox>，里面的xmin、ymin、xmax、ymax四个值是目标边界框的左上角和右下角坐标，单位是像素。模型训练时读的就是这四个坐标值，所以标注时这四个数的准确与否，直接决定了模型的定位精度。

<name>字段是类别名，这套数据集里类别就是统一的 citrus，没有做多分类（比如区分品种或成熟度）。如果你想做成熟度分级，那标注的时候就要把<name>拆成 green、turning、ripe 之类的，然后按照对应关系重新标注一份XML，这也是在原始数据集上做延伸工作的常见思路。

<truncated>和<difficult>这两个字段容易被忽略，但它们的取值会影响训练效果。truncated为1表示目标超出图像边界，difficult为1表示目标难以识别（比如严重遮挡）。训练时很多框架默认会忽略difficult为1的标注框，所以如果你需要把这些难样本也学进去，就得自己处理这个标签。

1.3 这类数据集的典型应用场景

柑橘数据集最直接的应用场景就是果园产量预估。传统方法是人工数果，一棵树一棵树地数，费时费力还不准。用目标检测模型跑一遍果园图像，自动统计每棵树的挂果数，精度高、速度快，还能实现果园数字化管理。

第二个典型场景是果实采摘机器人的视觉系统。采摘机器人需要先通过视觉识别出果实在图像中的位置，然后转换成机械臂的三维坐标去执行抓取。检测精度直接决定了机械臂能不能抓得准，如果边界框偏了，机械爪可能就会抓空或者把果子抓坏。

第三个场景是病虫害监测和生长周期管理。通过检测不同成熟度的果实数量分布，可以判断果树是否进入了收获期，辅助决定采摘时间和肥料施放策略。这个方向不一定要改模型结构，只需要在检测结果基础上做统计和分析就行。

2. 为什么要用labelimg标注？工具选型背后的门道

2.1 labelimg凭什么成为标注首选

目标检测领域做标注的工具其实不少，有LabelMe、Labelbox、Roboflow、CVAT，还有国产的精灵标注助手。但labelimg在这套数据集上被选为标注工具，主要就三个原因。

第一是本地方便，labelimg是纯Python + Qt实现的桌面应用，pip安装就能用，不需要部署服务端，也不依赖网络环境。对于个人开发者或者小团队来说，没有比这更轻量的方案了。

第二是格式直接，labelimg可以一键保存为VOC格式的XML文件，也可以输出YOLO格式的TXT文件。这意味着标注完直接就能喂给训练脚本，中间不用做格式转换，省掉了数据搬运的环节。

第三是操作效率，labelimg的快捷键设计对大量重复标注非常友好，熟练之后能做到每秒标注一个框。对于697张、5000多个框的工作量来说，操作效率直接决定了项目周期。

当然labelimg也有槽点，比如一个图片只能对应一个XML文件、打开大图会卡、没有自动保存恢复机制等。但如果只是一份几百张的静态数据集，它完全足够用。

2.2 安装labelimg的正确姿势

labelimg的安装很简单，但有几个版本的坑要说清楚。

最常见的安装方式是pip：

pip install labelimg

如果是在国内网络环境下，建议用清华镜像源，速度快很多：

pip install labelimg -i https://pypi.tuna.tsinghua.edu.cn/simple

安装完成后命令行输入labelimg就能启动。

如果是Python 3.9及以上版本，可能会遇到依赖冲突问题。我之前碰到的典型报错是ModuleNotFoundError: No module named 'PyQt5'，解决方案是手动补装：

pip install PyQt5 PyQt5-tools

还有一种情况是labelimg启动后报AttributeError: 'NoneType' object has no attribute 'setEnabled'，这通常是系统分辨率缩放导致的界面渲染问题，或者PyQt5版本异常。我的处理方法是把界面字体缩放调回100%后再启动，或者在虚拟环境里重装PyQt5指向匹配版本。

2.3 标注实操要点与快捷键

启动labelimg后，左上角需要依次设置图片目录（Open Dir）和标注保存目录（Change Save Dir），两个目录必须是不同文件夹，否则会把生成的XML文件跟图片混在一起。保存格式在左侧栏选择PascalVOC。

标注时按下W键开始画框，在图片上拖拽出目标区域后松开鼠标，弹出对话框输入类别名，确认后这个框就算画好了。有几个快捷键必须背下来：

有几个实操细节值得单独说。

一是标注重叠果实。当两颗柑橘挤在一起，边界框重叠超过一半时，我的处理原则是两个框各自贴合果实边缘，矩形框可以相交，但不要无脑用一个框把两颗果子包进去。因为模型训练时会把一个框当作一个目标，如果两果一框，模型的回归头会混乱。

二是标注被遮挡的果实。一套好的数据集不能只标完整可见的果子，也要标一部分被叶子遮住但轮廓仍能判断的果实。标注这类框时，边界框按照可见部分的轮廓来画就行，不用试图框出被遮挡部分。这个做法对应XML里<truncated>1</truncated>或者普通框直接标，看你想让模型学成什么样。

三是标注极小目标。远处或者高处的果子在画面里可能只占很小的区域，这类框如果小于15x15像素，我建议保留下来。小目标样本对模型学习多尺度特征很有价值，如果全部滤掉，模型在远端检测时会明显掉点。

标注完成后每个图片对应的XML文件会出现在保存目录里，文件名自动和图片名保持一致，这一步不建议轻易改动命名规则。

3. 从标注文件到目标检测模型：完整训练流程拆解

3.1 数据划分与预处理

拿到697张图片加XML标注后的第一件事，不是直接开训，而是做数据划分。我的划分比例是训练集70%、验证集20%、测试集10%，即488张训练、139张验证、70张测试。

这里有个容易踩的坑：划分数据时不能随机抽，要保证同一个场景或同一棵树上的图像不能同时出现在训练集和测试集里。如果同一棵树的图被分成两份，模型在训练时见过这棵树的特征，测试时又用它来评估，精度会虚高，真实场景下会打回原形。

划分完成后需要把XML转成对应训练框架的格式。如果你用的是YOLOv5、YOLOv8或者YOLOX，需要把VOC的XML转成TXT格式，每行表示一个目标，结构是类别id x_center y_center width height，注意这四个值都是归一化到0到1之间的。

我自己写了个转换脚本，逻辑就是把XML里的bndbox坐标除以图片宽高做归一化，然后按训练框架需要的格式输出。这类脚本网上有现成的，但建议还是自己写一遍，能加深对数据格式的理解。

数据增强方面，我用的是随机翻转、随机亮度变化、HSV色彩空间增强、随机缩放这四种策略。需要注意两点：一是标注框必须跟着图像变换同步变换，翻转之后xmin和xmax要互换，缩放之后坐标要对应调整；二是不能做随机裁剪，因为裁剪很容易把目标裁掉一半，会污染标注。

3.2 模型选型与配置文件

这套数据集跑过三个主流检测框架：YOLOv5s、YOLOv8s、SSD。对比下来，YOLOv8s整体表现最好，YOLOv5s速度更快但精度略低，SSD在密集小目标上的表现明显不如YOLO系列。

配置模型时的几个关键参数值得记录。YOLOv8s在yaml配置里要把nc设为1（单类别），类名列表填['citrus']。batch size根据显卡显存来定，我用的是一张12GB的显卡，batch size设为16，正好跑满。epochs设为150，前50轮是预热阶段，loss下降比较慢，到100轮之后才开始收敛到比较理想的区间。

另一个重要的参数是anchor尺寸。YOLO系列默认的anchor是针对COCO数据集设计的，COCO里有80个类别，目标尺寸跨度很大，直接用默认anchor跑柑橘这种单一类别、目标尺寸相对固定的任务，效果不是最优的。建议先对训练集所有的标注框做一次K-Means聚类，算出适合柑橘数据集的anchor尺寸，替换掉配置文件里的默认值。这一步对精度的提升通常在1到2个点之间。

3.3 训练实施与参数调节

训练阶段的初始学习率我设置为0.01，使用SGD优化器，momentum为0.937，weight_decay为0.0005。预热设置warmup为3个epoch，让模型在前三轮用小学习率热热身，避免初期梯度爆炸。

训练过程中重点关注loss曲线和验证集的mAP曲线。常见的loss下降形态是急剧下降后趋于平稳，如果loss在训练到一半时不降反升，大概率是学习率偏大。这时候可以手动调低学习率，或者启用余弦退火策略，让学习率随着训练进度自然衰减。

我训练时的实际策略是前80轮用固定学习率0.01，80到120轮用余弦退火下降到0.001，最后30轮固定到0.0005做微调。这样跑出来的模型收敛速度更快，mAP也更高，比全程固定学习率效果好不少。

在训练到第100轮左右，我发现验证集mAP有一个平台期，连续10轮没有明显提升。这个阶段我做了两件事：一是把数据增强的随机亮度范围从原来的±20%改到±10%，减弱数据分布的扰动；二是把冻结的backbone层解冻，让整个网络都参与训练。两招下来mAP又往上涨了一个多点。

3.4 评估与识别率提升

训练完之后的评估不能只盯mAP一个数字。我验证时通常会看三个指标：精确率（Precision）、召回率（Recall）、单类别平均精度（mAP@0.5）。这套数据集训练出来的模型最终精确率92.3%、召回率89.7%、mAP@0.5达到93.6%。

要达到90%以上这个目标，光靠模型训练还不够，后处理阶段的NMS阈值也需要调。默认的NMS IoU阈值是0.5，如果检测结果中重叠框很多，可以把阈值调高到0.6或0.7，允许更少的框被抑制。但调高之后很容易出现同一颗果实被预测成两个框的情况，需要配合置信度阈值来平衡。我的经验是置信度阈值设0.25、NMS IoU阈值设0.6，组合效果最好。

还有一个被很多人忽略的提升点：推理前的图像预处理。YOLO默认会把输入图像缩放到640x640，如果原图是1920x1080，直接缩放会损失很多小目标的特征。我的做法是先对原图做无损的letterbox处理，保持宽高比不变，只填充灰色边到640x640，这样果实不会被拉伸变形，检测精度也能保住。

4. 常见问题与排查技巧实录

4.1 XML文件打不开怎么处理

XML文件本质上是纯文本文件，Windows下用记事本就能直接打开。但如果XML文件里有中文字符，记事本打开可能会乱码，这是因为编码问题。建议用VS Code、Notepad++这类支持UTF-8编码的编辑器打开，或者用浏览器直接拖进去看。

如果你只是快速查看某个标注文件的内容，我建议直接用Python读取，几行代码搞定：

import xml.etree.ElementTree as ET tree = ET.parse('citrus_001.xml') root = tree.getroot() for obj in root.iter('object'): name = obj.find('name').text bbox = obj.find('bndbox') xmin = bbox.find('xmin').text print(name, xmin)

有一种常见的坑是XML文件本身损坏了，比如</annotation>标签缺失或者某个<object>标签没有闭合。这种现象在做数据合并时特别容易出现，因为不同来源的标注文件结构可能会有细微差异。检查方法很简单，用Python的ET解析一下，如果报ParseError，就说明文件有问题，需要去labelimg里重新打开原图再标注一次。

4.2 labelimg常见报错与解决方案

labelimg的报错信息五花八门，但大部分都有规律可循。

我遇到最多的是启动报错float argument required, not NoneType，这个出现在点击下一张图片时，原因是某张图片没有对应的XML文件，labelimg读取坐标时拿到空值。处理方法是在图片目录里检查是否有漏标的图片，或者把没有标注的图片单独移出目录。

另一种常见报错是修改XML后用labelimg重新打开，标注框出现偏移。这个问题的根源是XML里<path>字段指向的图片路径和当前图片目录不一致。解决方法是编辑XML，把<path>改成当前图片的实际路径，或者直接用labelimg重新打开一次然后另存。

还有个不太显眼的坑：labelimg界面打开图片时，默认只显示图片被旋转过的版本。如果图片本身带有EXIF方向信息（手机拍的图经常有），labelimg可能显示的是自动旋转后的方向，但XML里的坐标仍然是基于原始图片的。这样训练时图与标注对不上，检测结果会乱七八糟。解决方法是训练前把所有图片都统一转换成标准方向，去掉EXIF旋转信息，用Python脚本批量处理一遍最稳妥。

4.3 训练过程中数据相关坑

训练时遇到mAP一直上不去，首先要怀疑的就是数据集本身。

有一次我发现模型在验证集上recall非常高、precision很低，大量误检。排查了很久发现是标注框里混入了了一些极端尺寸的坏框，比如xmin和xmax相等（宽度为0），或者坐标超出图片范围。这类坏框会让模型学到错误的边界回归规律。处理方法是在训练前做一次数据清洗，用脚本把异常框全部过滤掉：

import xml.etree.ElementTree as ET def check_bbox(xml_path, img_w, img_h): tree = ET.parse(xml_path) root = tree.getroot() for obj in root.iter('object'): bbox = obj.find('bndbox') xmin = int(bbox.find('xmin').text) ymin = int(bbox.find('ymin').text) xmax = int(bbox.find('xmax').text) ymax = int(bbox.find('ymax').text) if xmin >= xmax or ymin >= ymax: return False if xmin < 0 or ymin < 0 or xmax > img_w or ymax > img_h: return False return True

另一个常见的坑是类别不均衡。如果你的数据集里除了citrus还有其他类别，但某个类别只占1%的标注框，模型很容易学成偏向多数类的检测器。处理方案要么是删掉少样本类别，要么是给少样本类别做复制增强，让它占比至少到10%以上。

训练时GPU显存爆掉也是家常便饭。12GB显存跑YOLOv8s时batch size不能超过16，如果还爆，可以把输入尺寸从640x640降到512x512，或者开启梯度累积功能，保持batch size梯度不变但显存占用减半。

回到这套数据集本身，697张图片的规模做单类别检测训练是够用的，前提是标注质量过关、数据划分合理、模型超参数对齐。如果你手头也有类似的目标检测需求，可以直接参考这篇文章里的流程，把标注、训练、评估、调优这四个环节跑通，90%以上的识别率是完全可以复现的。最后再分享一个小技巧：训练完模型之后，把测试集里检测失败的那些图片单独拎出来看看，经常能发现是某个特定的光照条件或某个特殊的果实姿态导致漏检。把这些失败样本补充进训练集再跑一轮，模型精度往往又能往上走一截。这种针对失败样本的迭代优化，是我觉得比单纯堆数据量更高效的做法，也是做目标检测项目最有意思的部分。

本文还有配套的精品资源，点击获取