文本检测TIoU-metric


Tightness-aware Evaluation Protocol for Scene Text Detection
KeyWords Plus:      CVPR2019     Curved Text     metric     一种新的评价指标改进了以为评价指标的一些缺陷

Introduction

     文本检测近年来发展迅速,不规则文本检测常用分割做检测也发展很快,之前大多数是直接套用了传统的评价指标precision,recall,h-mean,但是这里有一些问题,今年cvpr上这篇文章就是提出了一种新的评价指标解决这些问题。

        Existing metrics exhibit some obvious drawbacks

        1) .They are not goal-oriented;
        2).They cannot recognize the tightness of detection methods;
        3).Existing one-to-many and many-to-one solutions involve inherent loopholes and deficiencies

1、论文创新点

    现有评价指标存在的问题:
        1、As shown in Fig. 1 (a), detection over a fixed IoU threshold with the ground truth (GT) may not com- pletely recall the text (some characters are missed); however, previous metrics consider that the GT has been entirely recalled.在检测不完全的情况下,交并比达到一定阈值也为认为检测到了,这在文本检测中会丢失信息。 不合理
        2、As shown in Figs. 1 (b), (c), and (d), detection over a fixed IoU threshold with the GT may still contain background noise; however, previous metrics consider such detection to have 100% precision.含有背景噪声,但是认为precision已经是100%,不是很合理。
        3、Previous metrics severely rely on an IoU threshold. However, if a relatively high IoU threshold is set, some satisfactory bounding boxes may be discarded (e.g., if 0.7 is set as the threshold, the detection in Fig. 1 (b) will be misjudged); if a low IoU threshold is set, sev- eral inexact bounding boxes would be included.单纯靠IOU阈值来判断文本检测结果,造成了单个文本指标不是1就是0的局面,不合理的。

        

Alt text

        这个文章主要做的创新点分为以下三点:

        1、Completeness.Using the TIoU metric would force methods to pay more attention to recalling every part of the GT, i.e., ensuring the completeness of GT,完整性,要求指标更关注GT的每一个部分,确保文本的完整性
        2、Compactness..Because the detections of outlier-GT will be punished by TIoU, the compactness of the de- tection would receive more attention.将其他文本的GT包含进来将会被惩罚,更关注检测结果的简洁。
        1、Tightness-aware.TIoU can distinguish the tightness among different detection methods, i.e., a 0.9 IoU de- tection would be much better than a 0.5 IoU detection in our metric.有区分不单单是一个阈值,0.9的iou比0.5iou指标更高。

2、以往各个主流的评价方法

        1、ICDAR 2003 (IC03)
        2、ICDAR 2013 (IC13)
        3、ICDAR 2015 (IC15)
        4、AP-based methods
这边就就不一个个介绍了,大家有兴趣就去看看相关论文和代码。

ICDAR 2013 (IC13)

Alt text

        tp和tr是precision和recall的两个阈值,分为三部分OO,OM,MO分别是一对一,一对多和多对一
        OM一对多表示一个GT对多个detection,满足两个条件即可:a、足够多的检测覆盖GT b、每个检测结果要被GT充足的覆盖,如果满足这个两个要求,precision和recall都为0.8
        MO一对多表示一个detection对多个GT,满足两个条件即可:a、检测必须包含充足的GT b、每一个检测对应足够的面积,如果满足这个两个要求,precision和recall都为1

这个评价指标主要有两个问题
        1、多对一,在很复杂的情况下,文本很多,一个大框可以检测到达很高的指标,但是检测结果是没有意义的,不能被识别所利用。
        2、一对多,a method that separates a perfect detection into numerous small over- segmented OM detections (e.g., 20) can make the pre- cision close to 0.8.如下图公式所示,将一个文本分割成多个会损失信息,但是却能拉高指标接近0.8左右。

Alt text

Alt text

ICDAR 2015 IoU Metric

        To be con- sidered a correct detection, the value of Intersection-over- Union must exceed 0.5.

Alt text

3、Methodology

        检测的目的是为了识别,之前版本的检测并没有关注文本内容等信息,为此提出三个概念去加强文本内容信息:
     1、text instance不能被分割成多个文本区域
     2、annotation应该尽可能包含更少的背景噪声,特别是别的文本实例内容
     3、annotation应该尽可能的被检测得到的text instance完美匹配

Alt text

TIoU-Recall

     关于TIoU的计算,引入了一个惩罚机制,避免一个阈值定结果,出现对后面识别的干扰,如上图a随意,都是一样大小的Iou识别结果却差的很大。公式如下:

Alt text

     主要是引入了交集与GT的一个比例惩罚限制最终指标。不再是单纯的一个阈值定高低。

TIoU-Precision

     如果一个检测结果覆盖了好几个GT,这样的情况也会有个惩罚,毕竟框进来别的文本会对识别造成干扰而导致识别出错。

Alt text

Tightness-aware Metric
     以往计算recall和precision的方式是:

Alt text

     计算match时不是1就是0,如果阈值是0.5,导致了IOU0.51和1的结果是相同的,这是不对的,在该评价方式中采用了联系的0-1的index

Alt text

The Solution of One-to-many and Many-to-one Metrics

     在该评价方式中,解决一对多,多对一的方式是

Alt text

     简单粗暴。

Alt text

4、Experiments

Alt text

Alt text

        在icd13和icd15的对比实验如上图所示可以看出,大多数算法框架普遍都直接掉了20多个百分点,这简直是巅峰了文本检测行业,不过确实存在合理之处。

6、Conclusion and Future work

        个人观点:人个对这个评价指标还是给予很高的期望,毕竟是按照文本检测的具体情况提出改善的,文本检测也是为了识别服务的,最终发展趋势肯定是端到端,分成两个单独网络实在是太冗余了,但是现有技术达不到这个程度还(虽然有几篇半监督提出了),但是还是蛮难的,这个指标也算是增强了这个趋势。

        In future, we will try to use TIoU metric to guide train-ing because its characteristics may be benefited to provide a strong supervision. In addition, it can also be used to help incremental or semi-supervised learning because TIoU can judge whether a detection is suitable to serve as a new GT annotation.

        文本检测还需要很长的路要走,希望各位大佬一起努力呀。

反馈与建议

文章目录
  1. 1. Introduction
    1. 1.1. 1、论文创新点
    2. 1.2. 2、以往各个主流的评价方法
      1. 1.2.1. ICDAR 2013 (IC13)
      2. 1.2.2. ICDAR 2015 IoU Metric
    3. 1.3. 3、Methodology
    4. 1.4. 4、Experiments
    5. 1.5. 6、Conclusion and Future work
  2. 2. 反馈与建议
|