一种基于前景背景像素对特征的车标识别方法外文翻译资料

英语原文共 11 页，剩余内容已隐藏，支付完成后下载完整资料

一种基于前景背景像素对特征的车标识别方法

Zhenxing Nie, Ye Yu(✉) , and Qiang Jin

VCC Division, School of Computer and Information,

Hefei University of Technology, Hefei 230009, China, yuye@hfut.edu.cn

摘要：在现有的车辆标志识别方法中，传统的图像特征与不同分类器相结合被广泛应用，没有考虑到车辆标志丰富的结构信息。考虑到它们的灰度和结构信息，提出了一种基于前景背景像素对（FBPP）特征的新方法，其中像素是从前景背景骨架区域随机采样的。像素对特征提取过程充分考虑了车辆标志结构，使得该特征具有明显的识别性。实验结果表明，与基于灰度信息特征的方法相比，基于特征的方法能够获得更高的识别性能。特别是在弱光照下，该方法具有较强的鲁棒性。

关键词：车标识别 前景背景 像素对特征 骨架区域 随机抽样

1引言

随着智能交通系统（ITS）的迅速发展，车辆标志识别（VLR）越来越受到人们的重视。汽车标志是汽车制造商和车型识别（VMMR）的重要线索。车辆标志识别技术被广泛应用于车辆异常检测、非法车辆跟踪、与被盗或虚假车牌相关的犯罪解决等。因此，VLR在过去几十年中取得了许多研究热点。对于VLR，特征表示和特征提取是非常重要的。许多现有的VLR方法主要基于三种特征，点、边和不变矩。

尺度不变特征变换（SIFT）[1 ]具有很强的鲁棒性，具有尺度不变性、旋转不变性和光照不变性。基于SIFT及其变体，将特征点匹配策略应用于车标识别（2, 3, 4，5）。PyLLOS等。〔2, 3〕提出了一种增强型SIFT，称为SIFT SIFT描述车辆标志图像，在包括1200个样本的数据集上获得了99.07%的高识别精度。然而，在实际应用中，车辆标志图像的分辨率很低，无法提取出足够的特征点。为了解决这个问题，一些方法（6, 7）通过网格采样获得特征点，并通过密集SIFT来描述点。余等。〔6〕提出了一种通过空间金字塔匹配（SPM）将车辆标志的空间信息合并到Word（弓）袋中的方法，并将车辆标志图像表示为视觉单词的直方图，在包括840幅图像的数据集上获得97.3%的准确度。等等。〔7〕利用局部约束线性编码对特征点进行优化编码，在包含1791幅图像的数据集上获得较好的识别率98%。

车辆标志图像中存在丰富的边缘信息。在此基础上，提出了许多特征表示方法，如形状描述符[10 ]、边缘方向直方图（11）和方向梯度直方图（HOG）〔12〕。在这些方法中，HOG是基于统计边缘特征构建的，能够反映车辆标志的形状信息，被广泛应用于目标检测和识别。洛洛卡等。〔13〕提出了一种利用HOG和支持向量机（SVM）的方法，在一组3579幅图像上获得92.59%的识别率。AnAkaveJ等。〔16〕提出了一种利用特征脸和HOG识别两个步骤的方法，获得了98%的识别率。

不变矩反映了图像的几何特征，在旋转、缩放和平移下具有很强的鲁棒性。傣族等。〔8〕提出了一种提取车辆标志的六个不变矩的方法，并利用SVM对其进行识别。证明了TChiBefff矩不变量在VLR中的性能优于胡矩不变量和泽尼克矩不变量。山姆等人。〔9〕将径向Chebyshev矩与k-近邻（KNN）分类相结合，得到了包含200幅图像的数据集的92%的准确度。然而，不变矩计算耗时长，不能满足ITS的实时性要求。

在实际的智能交通系统中，道路监控摄像机拍摄的图像从1280times;720到1920times;1080不等。虽然捕获图像的分辨率不是很低，但车辆标志只占据很小的一部分。环境和天气的影响也增加了识别困难。在这种情况下，不变矩缺乏足够的判别力，无法区分几十个车辆标志，点和边的特征难以提取，稳定性差，这给VLR实际带来了困难。探索新的特征和提取方法一直是研究的重点。彭等人。〔14〕提出了一种基于统计随机稀疏分布（SRSD）的方法，在3370组车辆图像中获得97.2%的识别率。然而，SRSD方法过于依赖于随机性，只使用图像的灰度信息，因此当样本类型或数量达到一定的限制时，它不能保持良好的性能。

考虑到车辆标志的灰度和结构信息，提出了一种前景背景像素对（FBPP）特征，其中从车辆标志的前景背景骨架区域提取像素。基于这种新的特征，从真实的ITS系统捕获的车辆标志被分类。论文的其余部分按如下方式组织。介绍了FBPP特征提取方法。2。介绍了车辆标志的分类方法。三。第4节提供了实验结果和讨论。5总结全文。

2 FBPP特征提取

FBPP特征提取的主要过程如图1所示。首先，车辆标志被划分为前景和背景区域，并且从两个区域提取骨架区域。然后，从两个骨架区域中提取像素，这些像素形成像素对。在验证了这些对后，保持了代表性、判别性和鲁棒性，从而成为车辆标志的FBPP特征。

图1 FBPP特征提取过程的说明

2.1骨架提取

车辆标志具有不同于背景的固定设计形状，称为前景。标准车辆标志用于提取像素对特征，如图2所示，其中白色部分为前景，黑色部分为背景。对于真实系统中捕获的车辆标志，由于环境和天气的影响，像素的灰度值在接近前景或背景中心时变得更加稳定。因此，为了提高像素对特征的稳定性和鲁棒性，提取前景和背景的骨架区域，这可以将像素提取范围限制到中心部分。本文采用并行细化方法提取骨架区域[15 ]。

图2 车辆标志图像

2.2初始像素对生成

在提取骨架区域之后，分别从前景和背景骨架区域随机地选择初始像素对的两个像素。彭等人。〔14〕提出了一种采样方法——随机均匀稀疏采样（RASS）来选择初始像素。然而，我们发现，与随机抽样相比，RASS不能提高最终的识别精度。因此，这里采用随机抽样，以简化采样过程，并提高我们的方法的效率。

对于It标志类，通过随机采样，分别得到两个像素集，分别命名为FpiFpi和BPIBPI，它们都包含N个像素。然后，通过交叉匹配产生初始像素对集PairiPairi，其被定义为

下标JJ表示像素对的索引，N0N0表示PairiPairi中像素对的总数。每个像素对P1、P2＞P1、P2 gt;有两个采样像素，P1P1从FPIFPI和P2 P2中选择，从BPIBPI中选择。

该方法避免了局部亮度的影响，利用归一化互相关（NCC）对相似度进行了评价。

其中IP1IIP1i和IP2IIP2i分别表示局部P1P1和P2 P2中的I点的像素值；IP1、alpha;、alpha;、IP1、IP2、alpha;2和IP2表示局部区域P1P1和P2 P2的平均像素值。

然后，基于它们的映射点P1和P2的相似性水平来评价样本X上的像素对J的相似关系S（x，j）s（x，j），表示为

其中1表示“相似”，0表示“不相似”。采用5times;5的局部区域，NCC（P1，P2）NCC（P1，P2）的范围为（0，1]（0，1]。THCNCthnCC是一个阈值保持值。

2.3验证

在上述初始像素对生成过程之后，生成大量像素对，其中选择那些独特的和有区别的像素对，即它们是经过验证的像素对。两个规则应用于验证过程，如下所示。

规则1：像素对P1、P2＞P1、P2gt;在所有车辆标志的样本中应具有相同的相似关系。

规则2：像素对P1、P2＞P1、P2gt;在非机动车标志物的所有样本之间应具有不同的相似关系。

将初始像素对映射到真实系统的样本上，然后计算具有相同相似关系的频率，在此基础上确定像素对的验证。首先，将像素对映射到同一类的样本上，以决定它们是否符合规则1。这个过程被命名为“同质验证”。然后，将它们映射到不同类别的样本上，以决定它们是否符合规则2。这个过程被称为“异构验证”。这两个过程细节都在下面的小节中提供。

2.3.1同质验证

将像素对J映射到It车辆标志类的样本上，将“相似”和“不相似”出现频率的关系分别表示为Fij（1）Fij（1）和Fij（0）Fij（0），它们分别计算为：

其中n是样本数；S（x，j）s（x，j）表示样本x上像素对j的相似关系。

最常见的关系被定义为最终相似性关系，表示为Sij。

最终相似关系的发生频率为

基于规则1，只有当FijFij足够大时，才会选择像素对J。因此，同质验证后的像素对集对iApIi

其中THCTHC是一个阈值，NCNC是成对的IpAui中像素对的数目。

2.3.2异构验证

将像素对映射到非It标志类的样本上。对于像素对J，计算了非ITS标志样本J上的相似关系，然后需要知道它与同质验证过程中计算的相似关系有多大的不同。Frsquo;ijFij用于描述差异，计算为

其中Y表示非It标志类的样本，S（y，j）s（y，j）表示样本y上的像素对j的相似关系；m是样本数。

根据规则2，frsquo;ijFij的值越高，像素对J变得越有判别力。从而得到最终的像素对集对rsquo;iPouirsquo;。

其中，THSs是一个门限值，NSN是成对的iPiBirsquo;中的像素对数。

总之，对于It标志类，像素对特征由像素对集对rsquo;iPiirsquo;、相应的相似关系集SISI和其出现频率集FIFI组成。

3车辆标志分类

采用FBPP KNN（K近邻法）进行车辆标志分类，利用匹配向量估计样本与每个标志类的相似度。对于样本X，计算ITS标志类的JTH像素对的匹配度。

然后，计算Ix标志类m（x，i）m（x，i）上的样本x的匹配度。

样本X的最终匹配向量MV（x）MV（x）是每个标志类上的匹配度的级联。

因此，对于每个样本，获得匹配向量。所有训练样本的匹配向量是KNN分类器的输入。

4实验

4.1数据集

由于没有公共数据集评价车辆标志识别，我们构建了数据集，为我们的实验。在实际系统中，从采集到的图像中提取车辆标志样本，包括35种车辆标志和14000个车辆标志图像。3500个图像用于训练，以提取FBPP特征；10500个图像用于测试。在弱光照下，将测试样本分为两个子集：正常照明下的测试集1（7000图像）和测试集2（3500个图像）。所有样本归一化为50times;50的统一大小。表1显示了来自测试集1和测试集2的部分样本。

表1本文构建的数据集

4.2识别结果比较

在Wi7 VS201 OpenCV2.4.11开发环境下实现了算法的识别结果与HOG SVM（13）、LBP SVM、SIFT SPM〔6〕和SRSD〔14〕的四种典型VLR方法的比较。为了更好地比较，测试集1被划分为7个子集。每个子集上的识别率和平均子集的识别率列于表2。如表2所示，我们的方法在大多数制造商中获得最高的识别率，并且在测试集1上获得平均识别率为94.5%，这表明FBPP特征比LBP、HOG和SIFT更适合于车辆标志的表示。此外，与SRSD相比，该方法提高了4%左右的识别率，证明了兼顾灰度和结构信息的像素对特征对VLR识别更具区别性和判别性。

表2五种VLR方法在测试集1中的比较

由于采用以前景和背景骨架区域提取的像素对的两个像素为中心的局部区域的相似关系作为比较标准，因此提高了我们的方法的鲁棒性，尤其是在弱光照下。在测试集2上进行了实验，以验证上述观点。图3显示了测试集1和测试集2上的五种方法的性能比较。我们的方法获得最高的识别率在这两个测试集。此外，当从测试集1变为测试集2时，我们的方法的识别率比其他四种方法降低得更少，这表明我们的方法在弱光照下更鲁棒。

图3五种VLR方法的总体性能

4.3分类器的讨论

表3列出了四种分类器在我们的测试集上的识别性能。如表3所示，KNN分别在测试集1和测试集2上获得了94.5%和87.2%的准确度，高于线性SVM（线性支持向量机）、RBF SVM（径向基函数支持向量机）和SRC（稀疏表示分类）。图4显示了KNN的不同k的整体性能。当k等于5时，获得最高的总体识别性能。

表3不同分类器的比较

图4不同K的总体性能

4.4抽样方法的探讨

在〔14〕中，提出了一种RSIS采样方法，保证了像素对的稀疏分布和均匀分布。在本文中，初始点集是由前景和背景骨架区域生成的，其中一些是小而窄的。在这种情况下，RASS方法不能达到最优的性能，这意味着RASS方法不适用于此。表4示出了两种抽样方法的比较，RISS和随机抽样。通过随机抽样，在测试集1和测试集2上均获得较高的平均识别率。此外，随机采样具有较低的时间复杂度，可以大大节省特征提取的计算成本。这就是为什么在我们的方法中采用随机抽样，而不是采用RASS。

表4两种抽样方法的比较

5结论

考虑到车辆标志图像的灰度和结构信息，提出了一种基于前景背景像素对特征的VLR方法。形成像素对的两个像素分别从前景和背景骨架区域随机采样。通过均匀性验证和异质性验证，保持具有区别性和辨别性的有效像素对，由此生成像素对特征。然后基于这些特征识别车辆标志。实验表明，该方法优于基于灰度信息的VLR方法。所提出的特征表示方法更适合于车辆标志图像，这使得我们的方法稳健有效，特别是在弱光照下。

确认:这项工作部分由国家自然科学基金资助。

中国研究（批准号：61370167, 61305093），安徽省科技计划项目（批准号1401B042009）。

参考文献：<!--

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[21686]，资料为PDF文档或Word文档，PDF文档可免费转换为Word