| by YoungTimes | No comments

目标检测(Object Detection)的评估指标mAP

在Faster RCNN论文中与Fast RCNN的对比效果如下:

Object detection results (%) on the MS COCO dataset. The model is VGG-16.

官方公布的Fast R-CNN在COCO test-dev数据集上的mAP@.5为35.9%,mAP@[.5,.95]为19.7;

作者在论文中自己实现的Fast R-CNN在COCO test-dev上的mAP@.5为39.3%,mAP@[.5,.95]为19.3%,之所以比官方公布的指标高,作者认为原因在于:

We conjecture that the reason for this gap is mainly
due to the definition of the negative samples and also
the changes of the mini-batch sizes

Faster R-CNN在COCO test-dev数据集上的mAP@.5是42.1%,比Fast R-CNN高2.8%;mAP@[.5,.95]的mAP@[.5,.95]是21.5%,比Fast R-CNN高2.2%。
可以看到:Faster R-CNN的效果要优于Fast R-CNN,也说明了RPN网络的Excellent Performance.

1.评估指标mAP

论文中经常用mAP去衡量目标检测模型的好坏优劣,mAP的全称是Mean Average Precision,是目标检测领域最常用的评估指标。

Few prominent Image Processing problems Image taken from Stanford’s CS231n Course slides(lecture 8)

Object Detection不仅需要检测出图像中物体的分类,还需要给出物体在图像中的位置,并使用IoU来映射Prediction结果与Ground Truth的关系。

1.1 IoU

在Object Detection中是通过计算Prediction Box与Ground Truth Box的交并比(IoU)来评价边界框正确性的度量指标。

IoU Sample

1.2 IoU的定义

Intersection over Union is a ratio between the intersection and the union of the predicted boxes and the ground truth boxes

Image is inspired by the pyimagesearch article, which was inspired by University of Pittsburg’s CS1699 HW assignment4

mAP@.5中的0.5就是指在IoU=0.5时目标检测的效果.

2. Object Detection的Precision & Recall

Precision = \frac{TP}{TP+FP}
Recall = \frac{TP}{TP+FN}

TP(True Positive,真正):将正类预测为正类的数量;即与Ground truth区域的IoU>=threshold的预测框
FP(False Positive,假正):将负类预测为正类的数量,误报;即与Ground truth区域IoU < threshold的预测框
FN(False Negative,假负):将正类预测为负类的数量,漏报;遗漏的Ground truth区域
TN(True Negative,真负):将负类预测为负类的数量;没法算,因为没有标框的地方无法界定

Precision和Recall之间往往是一种博弈关系,好的模型让Recall值增长的同时保持Precision的值也在很高的水平,而差的模型性可能会损失很多Precision值才能换来Recall值的提高。通常情况下,都会使用Precision-recall曲线,来显示分类模型在Precision与Recall之间的权衡。

Precision-Recall Curve

Precision和Recall受到IoU和置信度阈值的影响,IoU很容易标准化,比如在PASCAL VOC中采用的IoU阈值为0.5,而COCO中采用了一系列的IoU阈值(0.05至0.95),但是不同模型的置信度会差异很大,一个模型的0.5置信度可能等价于其它模型0.8的置信度,而置信度会影响到Precision-Recall的曲线形状。为了得到一种适用于任何模型的评估指标,提出了Average Precision(AP)的评估指标。

AP是Precision-Recall Curve(PRC)曲线所覆盖的面积,用来衡量模型在每个具体类别上的好坏。mAP就是给每一分类分别计算AP,再做mean平均。

除非注明,否则均为[半杯茶的小酒杯]原创文章,转载必须以链接形式标明本文链接

本文链接:http://www.banbeichadexiaojiubei.com/index.php/2019/08/11/%e7%9b%ae%e6%a0%87%e6%a3%80%e6%b5%8bobject-detection%e7%9a%84%e8%af%84%e4%bc%b0%e6%8c%87%e6%a0%87map/