thinkphp 网站模版,在网站建设中遇到的问题,wordpress主题文件夹在哪,做网站长尾词目录 1 前言2 YOLO在不同领域的应用3 物体检测指标和NMS3.1 mAP和IOU3.2 mAP计算流程3.2.1 VOC 数据集3.2.2 微软 COCO 数据集 3.3 NMS 1 前言
最近在做目标检测模型相关的优化#xff0c;重新看了一些新的论文#xff0c;发现了几篇写得比较好的YOLO系列论文综述#xff0… 目录 1 前言2 YOLO在不同领域的应用3 物体检测指标和NMS3.1 mAP和IOU3.2 mAP计算流程3.2.1 VOC 数据集3.2.2 微软 COCO 数据集 3.3 NMS 1 前言
最近在做目标检测模型相关的优化重新看了一些新的论文发现了几篇写得比较好的YOLO系列论文综述所以写了这篇博文总结一下YOLO从v1到v11的模型架构、优化、优势和局限性。学术界太卷了一年更新三版到今年九月份就已经更新到v11了印象中两年前还是YOLOv5的天下。 参考论文 A COMPREHENSIVE REVIEW OF YOLO ARCHITECTURES IN COMPUTER VISION: FROM YOLOV1 TO YOLOV8 AND YOLO-NASYOLOV1 TO YOLOV10: A COMPREHENSIVE REVIEW OF YOLO VARIANTS AND THEIR APPLICATION IN THE AGRICULTURAL DOMAINYOLOV10 TO ITS GENESIS: A DECADAL AND COMPREHENSIVE REVIEW OF THE YOU ONLY LOOK ONCE (YOLO) SERIES 目标检测的发展经历了五个比较大的阶段传统算法、Two-stage、One-stage、Anchor-free、Transformer。
在深度学习出现之前主要是依赖于手工设计的特征与机器学习分类器的结合包括相关滤波器、滑动窗口法和Viola-Jones检测器等这些方法所涉及的特征提取技术包括Gabor特征、梯度方向直方图Histogram of Oriented Gradients, HOG、局部二值模式Local Binary Patterns, LBP和哈尔特征Haar-like features。这些检测器最常用的分类方法包括随机森林、支持向量机、统计分类器例如贝叶斯分类器和Adaboost以及多层感知器MLP等。
将卷积神经网络Convolutional Neural Networks, CNN引入物体检测之后真正实现了自动化的特征提取和端到端的学习。
CNN的特点包括
层次化的特征学习CNN在最开始几层可以学习一些低维的特征如边缘、纹理在深层可以学习一些高维的特征如物体部件、形状空间不变性卷积层使得CNN能够识别图像中不论位置如何的对象从而增强了检测的鲁棒性可扩展性和泛化能力CNN易于扩展便于处理更大的数据集和更复杂的模型在广泛的任务和应用环境中提高性能和鲁棒性。
下图展示了物体检测算法的主要发展历史。 如果直接通过滑动窗口的方法将CNN应用到物体检测中这种暴力搜索的方法计算成本非常高并且效率很低难以做到实时处理。
2013年Ross Girshick等人提出了R-CNN (Region-based CNN) 架构来解决这些挑战。R-CNN利用选择性搜索算法生成大约2000个区域proposals然后通过CNN处理这些区域来提取特征。Fast R-CNN改进了这一过程通过在单次传递中集成区域proposals特征提取和分类来提高效率。Faster R-CNN进一步优化了这种方法引入了Region Proposal NetworksRPNs进行端到端训练去掉了选择性搜索的方法。
“You Only Look Once”YOLO物体检测算法是由Joseph Redmon等人在2015年首次提出用一个单一的神经网络将region proposal和分类结合起来极大地减少了计算时间使得实时物体检测开启了新的里程碑。YOLO将图像分割成很多个网格每个网格直接预测边界框和类别概率实现了端到端的学习。
2 YOLO在不同领域的应用
YOLO的实时物体检测能力在自动驾驶车辆系统中具有不可估量的价值能够快速识别和跟踪各种物体如车辆、行人、自行车和其他障碍物。这些功能已被应用于多个领域包括用于监控、体育分析和视频动作识别。
在农业方面YOLO被用来检测和分类作物、害虫和疾病辅助精准农业技术并实现农作过程自动化。它们也被调整用于生物识别、安全以及面部识别系统中的人脸检测任务。
在医学领域YOLO已被用于癌症检测、皮肤分割和药片识别提高了诊断准确性和治疗过程的效率。
在遥感领域它被用于卫星和航空影像中的物体检测与分类支持土地利用制图、城市规划和环境监测。
安全系统整合了YOLO模型进行视频流的实时监控和分析允许快速检测可疑活动、社交距离保持及口罩佩戴检测。这些模型还被应用于表面检查以检测缺陷和异常情况从而加强制造和生产过程中的质量控制。
在交通应用中YOLO被用于车牌检测和交通标志识别等任务为智能交通系统和交通管理解决方案的发展做出了贡献。它们还被用于野生动物检测和监测以识别濒危物种促进生物多样性保护和生态系统管理。
最后YOLO在机器人应用和无人机物体检测中得到了广泛应用。
下图展示了Scopus中标题含有“YOLO”一词的所有论文的文献计量网络可视化并通过物体检测关键词进行了筛选。 3 物体检测指标和NMS
3.1 mAP和IOU
平均精度Average Precision, AP也称为平均平均精度Mean Average Precision, mAP衡量所有类别物体的平均精度是评估物体检测模型性能的常用指标。COCO数据集对AP和mAP不做区分。下文中我们提到的AP和mAP是等价的。
在YOLOv1和YOLOv2中用于训练和基准测试的数据集是PASCAL VOC 2007和VOC 2012但从YOLOv3开始使用的是COCOCommon Objects in Context数据集。
mAP指标是基于精确度-召回率指标处理多个物体类别并通过交并比IoU定义正预测。
精确度Precision衡量模型正预测的准确性简单理解就是模型输出的检测框里检测正确的框的比例。
召回率Recall衡量模型正确识别的正例的比例换而言之就是有多少正例被正常识别出来。
通常精确度和召回率之间会互相影响例如增加检测到的对象数量更高的召回率可能导致更多的假阳性更低的精确度。为了综合考虑精确度和召回率需要用mAP来衡量mAP指标结合了不同置信度阈值下的精确度-召回率曲线表示的是精确度-召回率曲线下的面积。
通常一个模型会检测多个类别mAP指标通过分别计算每个类别的平均精度AP然后取所有类别AP的均值这也是为什么它被称为平均平均精度的原因这种方法能更全面地评估模型的整体性能。
交并比Intersection over Union, IoU物体检测旨在通过预测边界框准确地定位图像中的物体mAP指标通过引入交并比IoU来评估预测边界框的质量。IoU是指预测边界框与真实边界框的交集面积与并集面积之比表示了真实边界框与预测边界框之间的重叠程度。COCO基准采用多个IoU阈值来评估模型在不同定位精度水平上的表现。 3.2 mAP计算流程
在VOC和COCO数据集中AP的计算方式有所不同。
3.2.1 VOC 数据集
该数据集包括20个物体类别mAP计算步骤
对于每个类别通过改变模型预测的置信度阈值来计算精确度-召回率曲线。使用精确度-召回率曲线上11点插值的方法来计算每个类别的平均精度AP。通过取所有20个类别的AP均值来计算最终的平均精度AP。
3.2.2 微软 COCO 数据集
该数据集包含80个物体类别并使用更复杂的方法来计算AP。与VOC使用11点插值不同它使用101点插值即从0到1以0.01为增量计算101个召回率阈值下的精确度。此外AP是通过对多个IoU值而不是仅一个IoU值求平均得到的除了一个常用的AP指标称为AP50它是单个IoU阈值0.5时的AP。COCO中计算AP的步骤如下
对于每个类别通过改变模型预测的置信度阈值来计算精确度-召回率曲线。使用101个召回率阈值来计算每个类别的平均精度AP。在不同的交并比IoU阈值下计算AP通常是从0.5到0.95步长为0.05。较高的IoU阈值要求更准确的预测才能被视为TP。对于每个IoU阈值取所有80个类别的AP均值。最后通过对每个IoU阈值下计算出的AP值求平均来计算整体AP。
AP计算方法的不同使得直接比较两个数据集上的物体检测模型性能变得困难。目前的标准倾向于使用COCO AP因为它对模型在不同IoU阈值下的表现进行了更细致的评估。
3.3 NMS
非极大值抑制Non-Maximum Suppression, NMS是一种在物体检测算法中使用的后处理技术用于减少重叠边界框的数量并提高整体检测质量。物体检测算法通常会在同一个物体周围生成多个具有不同置信度分数的边界框NMS通过过滤掉冗余和无关的边界框只保留最准确的那些。
非极大值抑制NMS的工作原理
初始化首先获取所有预测的边界框及其对应的置信度分数。排序根据置信度分数对这些边界框进行降序排列。 选择最高分框选取置信度最高的边界框作为当前处理的对象。计算IoU对于剩余的所有边界框计算它们与当前最高分框之间的交并比IoU。抑制重叠框如果某个边界框与当前最高分框的IoU超过了预设阈值例如0.5则认为该边界框是冗余的并将其从列表中移除。重复步骤3-5继续选取下一个置信度最高的边界框并重复上述过程直到所有边界框都被处理完毕。
通过这种方式NMS能够有效地去除多余的重叠边界框从而简化结果并提高检测准确性。这种方法对于确保每个物体只有一个最佳匹配的边界框特别有用这对于后续的应用如跟踪或识别非常关键。 从下一篇博文开始我们逐一介绍每一版本YOLO的模型架构、改进点、优势和局限性。
