一、车牌识别软件评测方法

1  引言

       车牌识别作为智能交通系统信息采集的重要来源，其价值是不言而喻的。目前，车牌识别技术已经从实验室中的原型系统走向了商用，并且车牌识别系统做为智能交通行业商用系统中的基础模块已经非常广泛的应用于各种道路监控系统以及停车场管理系统，但是这并不意味着车牌识别技术已经非常成熟了，由于我国车牌种类繁多，车牌字符组成包括汉字、字母、数字等多种元素，并且算法研究起步晚等原因，导致国内车牌识别技术的研究仍旧面临巨大的挑战，商用系统的实际应用性还有待提升。并且随着车牌识别产品及其应用走向成熟，产品测试也日趋重要，而现有的测试方式还停留在现场实测阶段，这种测试方式系统误差太大，不足以准确反映产品的技术性能。

       对系统的评测是一个非常直观的考察车牌识别产品的方法，具有重要的意义。通过对识别系统的综合评测，各研究机构和开发商能够发现自身技术的不足，并通过观察参加评测的各个系统的表现，发现有价值的研究方向，寻求技术上的突破口，从而推动车牌识别技术的总体进步。现有的测试都是现场公开测试或者用实际监控设备采集的图像进行系统测试，通常这类测试有以下几个缺陷：1.没有统一的测试图像数据，测试结果没有可比性；2.没有科学的评测协议和标准的评测基准，测试结果不足以说明问题；3.没有进行测试图像数据选择，测试图像库虽然数据量大往往有几万张甚至几十万张图像，但是这些数据大多存在图像质量参差不齐，车牌种类不全面，测试元素不明确等缺陷，使得测试结果缺乏指导意义；4.没有第三方机构测试或者监督，这种研究者自己对自己系统的评价结果不足以让人信服，测试结果不具备权威性。总的来说，现有的测试没有建立起标准规范的测试体系，这种脱离于车牌识别专业技术、标准车牌库和评测协议的测试意义不大。

       基于上述考虑，本文在现有车牌识别技术的基础上制定了车牌识别系统标准评测协议，包括评测协议和评测图像数据库两部分。

2  车牌识别评测协议

      车牌识别系统评测工作的目的是为了评价各个系统的识别能力情况，从而建立行业次序和行业规范，并且指导车牌识别领域未来的研究方向。要达到这个目的，需要制定合理的评测协议并且建立相应的测试图像库。本文中的评测协议包括评测指标制定和评测方案设计两部分。

2.1评测指标

       当前车牌识别技术一般分为图像获取、车牌定位、字符分割和字符识别这四个主要组成部分，由于字符分割的效果依赖于车牌定位，并且会反映到字符识别的结果中，所以本文中的车牌识别系统评测指标只涉及车牌定位和字符识别这两个核心步骤。评测协议包含三部分评测指标，第一部分是车牌定位评测指标，第二部分是字符识别评测指标，第三部分是车牌整体识别评测指标。

         为了能够公平、准确的描述车牌识别系统的优劣性，本文中车牌识别评测指标有两个基本的计算原则：1测试系统的车牌定位能力时所有待测图像都要在系统的识别范围之内；2测试系统的字符识别能力时只计算系统定位到准确车牌图像中的字符识别率。

2.1.1车牌定位评测指标

         车牌定位的任务是从包含车牌的图像中提取出所有车牌子图或者判断图片中没有车牌。这是车牌识别系统中关键的一步，能否定位准确直接影响到后续字符识别的效果。

         对于待测图像集G，其实际含有的车牌数量为N_LP。车牌识别系统测试待测图像集G时，有可能定位到三类图像，如表1所示：准确车牌图像，是指系统定位到的区域是完整的车牌图像区域，数量为N_A；含有车牌区域的图像，是指系统定位到的区域是不完整的车牌图像区域，其数量为N_B；非车牌区域的图像，是指系统定位到的区域是不包含车牌图像区域，其数量为N_C。对于输入的一张待测图像，车牌定位结果会出现以下几种情况：1.系统没有输出定位结果，2.系统只定位到“非车牌区域的图像”，3.系统只定位到“准确车牌图像”，4.系统只定位到“含有车牌区域的图像”，5.系统同时定位到“准确车牌图像”和“非车牌区域图像”，6.系统同时定位到“含有车牌区域的图像”和“非车牌区域的图像”，7.系统同时定位到“准确车牌图像”、“含有车牌区域的图像”和“非车牌区域的图像”，8.系统同时定位到“准确车牌图像”和“含有车牌区域的图像”，一般情况下7和8不会出现，因为系统一般不会同时定位到“准确车牌图像”和“含有车牌区域的图像”。在上述8种定位结果中最理想的情况是系统只定位到准确车牌图像。

表1三类车牌定位图像

根据上述车牌定位的情况，下面给出三个车牌定位评测指标。

定义1 车牌错误定位率R_C

这里，错误定位率R_C是指识别系统检测到的非车牌区域的图像数量N_C与实际含有的车牌数量N_LP的比值。

定义2 车牌粗定位率R_AB

车牌粗定位率是指系统准确定位到的车牌图像的数量N_A加上含有车牌区域的图像的数量N_B与实际含有的车牌数量N_LP的比值。

定义3 车牌准确定位率R_A

车牌准确定位率是指系统准确定位到的车牌图像的数量N_A与实际含有的车牌数量N_LP的比值。

        图1是车牌定位测试结果样图，横轴为某个系统（算法），纵轴为定位率，长方形的上边缘为粗定位率，长方形的下边缘为准确定位率，长方形上下边的距离表示系统只能定位到一部分车牌图像区域的数量在所有车牌数量中的比率，即N_B/N_LP，这个比率表明系统的定位算法有可能提升的空间。

图1 车牌定位测试结果样图

2.1.2字符识别评测指标

经过车牌定位之后，下一步的工作就是把车牌中的每个字符识别出来，字符识别是衡量车牌识别系统最重要的、也是最直接的指标，字符识别又与车牌定位的效果密切相关。下面给出两个字符识别评测指标。

定义4 汉字识别率R_CC

汉字识别率是指系统准确识别出汉字的数量N_CC，与待测样本中准确定位到车牌中的汉字总数量的比值。

公式4中，m指每个车牌中汉字的数量（这里默认待测图集中每个车牌的汉字数量相同，如果不相同，则以实际准确定位到车牌中的汉字总数量为准）。

定义5 字母和数字识别率R_LN

字母和数字识别率是指系统准确识别出字母和数字的数量N_LN，与待测样本中准确定位到车牌中的字母和数字总数量的比值。

公式5中，k指每个车牌中字母数字的数量（这里默认待测图集中每个车牌的字母数字数量相同，如果不相同，则以实际准确定位到车牌中的字母和数字总数量为准）。

2.1.3 车牌整体识别评测指标

下面给出车牌整体识别的评测指标。

定义6 整牌识别率R_LPR

整牌识别率是指对于输入的图像集，系统能准确定位出车牌，并且能准确识别出车牌中的每一个字符和车牌颜色的车牌数量N_LPR，与待测样本中车牌总数量N_LP的比值。

定义7 车牌种类识别率R_LPS

车牌种类识别率是指对于22种车牌，系统能准确出的车牌种类N_LPS的比率。

2.2 评测方案设计

        参考《GA/T833-2014机动车号牌图像自动识别技术规范》，本文将车牌识别系统评测分为功能评测和性能评测两部分。功能评测的任务是测试车牌识别系统最基本的车牌定位和字符识别的能力，主要表现在车牌识别系统对于不同结构、种类车牌的定位能力，以及系统对于车牌中的汉字、字母、数字的识别能力。性能评测的任务是测试车牌识别系统对于不同车牌元素变化图像的识别能力，例如：车牌分辨率变化图像、车牌亮度变化图像、车牌角度变化图像等。图2是车牌识别软件技术评测方案设计图，其中功能评测指标包括四部分：车牌种类识别率、车牌定位率、字符识别率和整牌识别率，性能评测指标包括两部分：整牌识别率和准确定位率。

图2 车牌识别软件技术评测方案设计图

3  SYSU车牌图像库

3.1功能评测图像库

         基于上述评测协议，本文的测试图像库也分为功能评测图像库和性能评测图像库。在众多组成车牌图像的元素中，影响车牌识别的元素有很多，例如：车牌种类、车牌中的字符、车牌分辨率、车牌角度等等，本文建立车牌图像库的基本原则是：图像和被测系统的某个测试元素有对应的关系，即所选择的测试图像是指消除或者最大程度弱化其他元素的影响，保留被测元素的图像。

         SYSU-ITS功能评测图像库建立的基本原则是保留车牌种类变化、字符变化等车牌元素，弱化车牌分辨率、亮度、角度等影响元素。根据《GA36-2014中华人民共和国机动车号牌》^[7]，本文将SYSU-ITS功能评测图像库分为两个子库，子库一是包含22种机动车号牌的图像集（不包含临时号牌），如表2所示，共2162张图像，其中一些特殊车牌例如各类摩托车牌、领使馆车牌以及拖拉机车牌等数量比较少，因为这些车牌种类相比较其他车牌种类来说在实际情况中比较少见，所以这里的样本量也比较少；子库二是包含38个汉字的机动车号牌图像集（不包含临时号牌），如表3所示，共5203张图像，其中各省、直辖市、自治区的车牌图像都为道路上最常见的小型汽车车牌和大型汽车前牌。

表2  中国大陆机动车号牌种类

表3  机动车号牌中的38个汉字

3.2 性能评测图像库

         SYSU性能评测图像库建立的基本原则是变化某个属性的取值，并且使得其他属性的取值在对车牌识别影响较小的区间，从而得到某个属性对于车牌识别技术的影响范围。性能库中的图像全部来自于功能库，分为车牌尺寸变化库、亮度变化库、阴阳差值变化库、水平旋转角度变化库、竖直错切角度变化库、水平透视角度变化库、竖直透视角度变化库、运动模糊变化库、散焦模糊变化库等9个子库。表4是SYSU功能和性能评测图像库的总体数量。

表4 SYSU车牌图像库