行人检测和夜视跟踪外文翻译资料

英语原文共 9 页，剩余内容已隐藏，支付完成后下载完整资料

行人检测和夜视跟踪

许凤良，刘霞，吉木藤村

摘要 - 本文介绍了一种使用单个夜视摄像机进行行人检测和跟踪的方法安装在车辆上。 处理人类的非刚性性质在道路上出现两步检测/跟踪方法建议。 检测阶段由支持向量执行机器（SVM）与尺寸标准化的行人候选人和跟踪阶段是卡尔曼滤波器预测的组合并意味着移位跟踪。 道路检测模块获得的信息进一步加强了检测阶段为行人验证提供关键信息。试验比较（例如，灰度SVM识别与二进制SVM识别和全身检测与上身相比检测）已展开，以说明我们的可行性做法。

关键词 - 斑点匹配，红外视频，卡尔曼滤波器，平均移位跟踪，运动估计，行人检测，支持向量机（SVM）跟踪。

一、引言

行人检测已经在固定摄像机和视频监控环境下广泛研究静止的背景。 已经提出了各种方法，包括背景消除和分析，定期运动，对称性，前景的轮廓形状分析[17]，[18]，人体部位的时空轮廓分析与三维（三维）模型[20]，周期性和自相似性分析[9]，关节式行人的退火粒子滤波[11]以及姿态和姿态的概率建模运动，以及最大后验检测[33]，飞机和视差分解[32]，小波模板表示和支持向量机（SVM）分类器[24]。

但是，在相机所在的车辆应用中安装在快速行驶的车辆上，会产生新的困难：背景不再是静止的，行人差异很大规模。 对于行人检测技术，仍然可以使用基于运动的方法，如基于骨架的运动分析，卡尔曼滤波预测[30]和时空周期运动分析[28]。 基于特征的方法也可以例如通过垂直线性特征识别，对称性，和人类模板[2]，[3]，[5]; Haar小波表示和SVM分类器[12]，[22]，[24]，[26]; 与倒角距离上的分层形状模板进行比较[15]; 与概率人模板相关[23];通过形状和运动来检测由银行获得的特征向量矩形过滤器[36]; 基于立体的视差分割和基于神经网络的识别[38]; 立体对象检测和运动分析[34]; 分析垂直投影曲线，直方图和惯性[13]; 和主成分分析和时间延迟神经网络[14]。人体部位的检测通常比直接检测整个身体更有效[22]。 运动分析，无论是单一的相机或立体相机用于避免危险（行人或其他车辆）[16]，[34]。 在[4]中，提供了一个工具比较行人检测的性能与手动地面真相。

最近，SVM [35]已被用于许多应用领域。 它为对象提供监督学习方法识别如脸[19]，[25]，[31]，脸部组件[19]，和行人[22]，[26]。 行人跟踪技术最近被提出包括通过贝叶斯分类[6]，空间 - 时间轨迹模式和卡尔曼滤波预测[29]匹配候选中线，结合立体视差，颜色一致性和面部图案[10]，meanshift方法[8]和三维B样条人体轮廓的跟踪[1]。

在本文中，我们将SVM应用于使用红外视频的行人检测。 在夜间，人体暴露部位在红外视频中显示为热点。 我们的方法检测热点，估计行人的大小，剪辑对应图像区域作为行人候选人，识别候选人作为使用SVM的行人或非行人，并最终开始使用卡尔曼滤波器预测来追踪识别的行人[37]并通过跟踪行人的头部或身体来平均移动[7]。在这项研究中，我们调查了一些对比的方法并比较他们的表现如下。

1. 候选人选择。 估算所占用的区域一个给定图像中的行人，我们可以使用热点本身（称为热点候选人）或整个包含热点和道路的区域（称为a身体候选人）。
2. 用于分类的灰色或二值图像数据。 对于模式分类，我们调查的有效性灰度剪辑与二进制剪辑的性能比较。
3. 单个或级联多个分类器。 对于行人类型，我们注意到，根据行人的移动样式（沿着街道，对面），行人显示的方式会有所不同街道和骑自行车者）。 我们调查它是否成立感觉分开或全部由一个分类器处理它们。

在3）中，对于第一种方法，两组候选人（热点和身体地面）每个都有三个分类器。 那就是总共六个将分类器逐个应用于候选人，直到识别出正面的行人。 其次，建立一个分类器（在一次考试中处理所有类型的考生），并与第一种方法进行比较。 这些分类的训练是在十个夜间视频和他们的表演上进行的使用其他六个视频检查检测和跟踪。

本文的其余部分安排如下。 在第二节部分，我们介绍我们的人体检测算法
和跟踪。 第三部分包含实验结果和第四部分结束本文。

图1.分割阈值和热点。（f）热点在箱子里。（a）冬季夜景，（b）统计，（c）直方图均衡图像，（d）分段图像，（e）分割区域，（f）提取的热点，以及（g）算法的流程图。（b）顶部曲线是平均密度，底部曲线是分段阈。

1. 算法

我们的算法由两个阶段组成：人体检测和人类跟踪。 检测阶段包括候选人选择和使用支持向量机的行人验证。 跟踪阶段使用卡尔曼滤波器来预测a的近似位置行人跟随均值漂移法来精确定位行人。

图2.图1中热点候选者的标准化和验证。偶数的图像剪辑是热点，而图像剪辑是奇数
数字是身体候选人。（a）标准化和（b）验证候选人。

1. 候选人选择

除了炎热的夏夜，夜间红外视频通常具有不变的对比度，并且人体看起来像一个由于高温与环境相比，特别是头部和手（冬季腿）。我们的算法开始于通过阈值化每帧来检测热点。

对于夜景红外视频，图像的动态范围由于存在车灯，车架之间的强度可能会有很大的变化，所以我们设置了一个灵活的阈值作为图像平均强度和最高强度之间的平衡[图1（b)],表示为:

(1)

如果图像像素强度均匀分布在[0，1]，那么这个阈值将提取最亮的10％的像素。阈值会随图像强度而变化并保持不变无论强度如何，视频帧之间的像素相同动态范围变化。 这种启发式在实践中运作良好为我们的案例研究。

该阈值用于分段直方图均衡图像[图.1（c）]，导致初始分割有一些噪音[图.1（d）]。 噪声抑制与形态学操作后，分割区域[热点，图1（e）]根据两个标准进行标记和选择，即大小与预先指定的尺寸（宽度/高度比率是在内0.2-0.5）和位置（行人候选中心应该保持在框架的中间部分内）。 这消除了大部分来自建筑物和车辆的虚假行人热点。热点可以是与行人相关的（头部，手部和腿部，通常不是很好的绝缘，或整个身体）或其他不相关的物体（被视为噪音）。

我们试图找到与行人有关的热点并加以区分在两种候选人之间：热点候选人（一个连接的组成部分，对应一个上部或整个身体）和身体基础候选人（碎片一起对应于整个身体）。

如果一个行人的整个身体出现为热点，那么这两种方法都可以得到与所占面积相同的结果图像中的行人，如图2所示。然而，人通常会穿着隔热良好的衣物，以减少红外线整个身体的标志; 因此，整个身体很少出现作为热点，除非行人很小或者衣服没有很好的隔热。 结果，这两种类型的在大多数情况下候选人不同。

由于。整个身体的形状有很多变化腿部运动和服装复杂性同时上升身体运动更少，更稳定，更简单。虽然上半身相对容易检测和追踪，其一个缺点是由于简单而导致的高误报率
（圆形头部往往与其他光线混淆来源，如灯）。 相比之下，整个身体较少很可能与其他物体混淆。

图3.热点候选人步行人数的估计。（a）夏夜（b）分割区域，（c）可能的身体，（d）估计的全身，（e）可能的头部、（f）估计的上半身。

对于热点候选人，如果它对应于整个身体[图3（c）],提取比热点稍大的区域作为行人候选人[图3（d）]; 如果热点是相关的到头部[图 3（e）]，行人上身的大小是通过将头部尺寸加倍来估计，并且将上身候选者的中心与头部中心重叠地提取[图3（f）]。 一个提取示例如图4所示事先不知道这个对应的热点是哪个部分，我们提取这两个区域作为候选热点。

图4.热点候选人的标准化和验证：上身案件。（a）主管候选人，（b）候选人的范围，（c）热点正常化候选人，和（d）通过SVM检测热点。

对于身体候选者，我们假设行人总是在路边行走; 因此，它们的大小可以估计由热点的顶部之间的距离（不管是否它是一个头或别的东西）和地面。这个地区的图像可以被提取为行人候选人。甚至当行人实际上是在路中央行走的规模估计仍然是正确的，因为他似乎仍然是走在“探测”路边。

在红外视频中，道路通常具有恒定的温度，因此没有快速的密度变化。它可以通过Sobel边缘图像上的形态学操作来提取，如图5（a）所示。然后，用矩形的内核进行侵蚀和膨胀操作[图5（b）]将地面区域与其他非圆地区分开。这个内核有20像素的高度和从100变化的可变宽度到200像素，如果结果显示可能会增加地面连接到图像的上部（可能天空或建筑物）。最小的大均匀区域被提取为地面区域，并且其轮廓被提取为道路边界（图5）。

图5.通过边缘图上的形态学操作进行地面提取。（a）Sobel边缘，（b）形态核心，（c）检测到的地面，和（d）道路边界。

一旦获得道路边界，a之间的距离可以测量可能的行人头顶和地面;从而，可以估计行人的尺寸（例如，宽度可以是作为身高选择，作为经验法则），并且图像中的相应区域将被提取为行人候选人[图6（a） - （c）中]。如图6（d）所示，行人候选人可能会重叠。提取的地面也有助于进一步消除非行人候选人。如果它们的大小与它们的高度不成比例，则不考虑热点。

图6.身体候选人和分类。 （a）流程图,（b）头部候选人和道路，（c）全身范围（d）规范化的行人候选人，（e）检测到的行人使用SVM。

两种类型的行人候选人都有不同的尺寸和需要标准化为标准尺寸（40*20修补在我们的案例）进行比较和分类。 标准化候选的例子如图1和2所示。 2（a），4（c）和6（d）。 他们后来通过使用SVM将其分类为行人或非行人。图1和图2显示了一些SVM识别的行人。如图2（b），4（d）和6（e）。

在夜景中，沿着街道散步的行人通常在开始时看起来很远，很小，并且模糊不清，然后得到更大更清晰。 通常情况下很难提取行人他们太模糊了。 因此，我们将表示模糊候选和最清楚的候选人之间的灰度差异定义为行人的清晰度。

(2)

其中是当前模糊图像中当前像素的灰度值，并且是用作参考的最清晰图像中对应像素的灰度值。范围从0到1，其中1是最清楚的，而0表示接近0的值模糊。

如果最清晰的参考图像不可用，则清晰度可以按以下方式定义：给定一个最佳阈值

将候选区域中的像素分类为白色像素和暗像素，灰度分布和作为均值，和作为标准偏差，然后将清晰度定义为:

（3）

因此，高清晰度意味着高对比度和更多细节。 它的值的范围也从0到1（0表示最模糊和1表示最明显）。 一个骑自行车的人从中提取的一个例子夜景视频如图7所示。

图7.行人的清晰度（C在第一排，C在第二排）。

1. 用SVM进行人类分类

支持向量机是一种计算边界的分类方法（支持向量）在两组高维向量之间（训练阶段），并使用这些支持向量对来自类似源（分类阶段）的向量进行分类。可以使用生成的支持向量的数量和检测率以评估不同训练数据集的效率，例如灰度对二进制或热点对身体候选者的行人检测的效率。

SVM的训练需要对提取的行人候选人进行手动分类。 一些行人候选人由于冗余冗余，视频中的帧不会用于训练。相反，为了训练，我们选择前五个帧每25帧的帧，从而确保本地高重采样率和全局低冗余度。然后，从训练集中生成支持向量集并用于从其他视频或视频中识别行人候选人来自同一视频的其他帧。

比较检验SVM的有效性用于灰阶行人候选人与二元行人候选人的分类。 灰度矢量可能会受到影响从人选与服装的差异看无法捕捉到最重要的信息：候选人的形状。 二进制向量可能更一般。二进制向量通过阈值化灰度向量来获得。图8包含来自两种情况的阳性样品的例子。

图8.灰度与二进制数据的比较。（a）灰度样本正数据和（b）二元正数据。

自我训练SVM的实验（训练和测试帧是相同视频的不重叠子集）显示使用灰度候选者的行人识别是相当成功：它总能识别出合适的候选人，只要训练帧之间的差异很小测试帧。 另一方面，二元候选人也是如此形状敏感并且难以实现高检测率。 因此，只要没有理想的分割方法，灰度方法会更好。

另一个比较是在性能之间做出的热点（主要是上身）和身体候选人（全身），如图9所示。

图9.热点和身体候选人之间的比较。 正（a）热点候选人和（b）身体候选人的样本。

这两种候选人可以达到几乎相同检测率。然而，来自热点候选人的支持向量的数量远远少于身体候选者的支持向量，表明候选热点更有效，强大，速度更快。

我们进一步将每个训练集划分为三种类型的行人，如图10所示：沿街，跨街和骑自行车的人（虽然不是真正的行人，但它们同样脆弱行人）。 将训练集中的行人手动分类为三类，然后进行训练以生成SVM分类器。然后，尝试独立地检测每种类型的行人。 我们总共有六个分类器（热点和身体候选人各三个分类器）。

图10.三种类型的行人：（a）沿街，（b）过街，（c）骑自行车。

SVM分类器有两种方法。首先是一个单一分类器适用于所有类型的行人，这很简单拥有非常多的支持向量，训练时间长，并且由于积极的各种各样的分类速度较慢候选人。 第二个是建立多个分类器，每个分类器一种特定类型的行人，导致紧凑的积极候选人和减少训练和分类的时间以及必要支持向量的大小。 （但是，也是许多分类器也会降低系统的速度，因为它们之一候选人可能不得不被每个分类器检查直到它验证为非行

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[23933]，资料为PDF文档或Word文档，PDF文档可免费转换为Word