Extremenet

ExtremeNet

论文地址:

摘要

提出一种目标检测新思路,首先通过标准的关键点检测检测四个极值点和一个中心点,然后通过几何关系对提取到的关键点进行分组,5个极值点对应一个检测结果

该方法使目标检测转化为一个基于外观信息的关键点估计问题,从而避开区域分类和隐含特征学习

原理

extremenet_flow

在O(hw)的空间预测5个heatmap,代表该位置是否是某个类别的极左点,极右点,极顶点,极底点,预测的是概率值,代表该位置是否有极值点以及它所属的类别;ExtremeNet通过暴力组合所有的极点来判断哪些点来自于同一个物体,通过四个极值点计算该四个点的物理中心,到center heatmap中找到该点的值,如果该值超过阈值则这是一个有效的组合

extremenet_group

edge aggregation

当物体边缘处于水平或者竖直状态,极值点会不唯一,这样会导致两个问题,一个是极值点的极值响应会低于阈值,导致极值消失,漏检;另一个问题,同一个物体,水平状态下极值点响应会很低,但是旋转一个比较小的角度,该物体的极值点的响应会很大。

解决该问题的办法是左右极值点在竖直方向上聚合,上下极值点上水平聚合,聚合直到遇到单调递减的最低值

nms

对相应的heatmap做nms,heatmap上是一些分数值,通过一次max_pool,然后判断max_pool后和原来一样的点的位置,这些点保留,其他的删除,即选出3x3滑动窗口上最大的那个位置

去置信度最大的40个点,记录他们的位置和置信度

loss

ExtremeNet角点和offset的loss采用了CornerNet的loss,没有组点的过程所有没有那部分的损失,但是角点的损失由2个增加到5个