基于加速度计的手势识别 ——采用神经网络和相似匹配方法外文翻译资料

英语原文共 9 页，剩余内容已隐藏，支付完成后下载完整资料

基于加速度计的手势识别

——采用神经网络和相似匹配方法

摘要

本文中，我们提出了一种基于加速度计的的笔式传感装置和独立用户的手势识别算法。用户可以以自己喜好的手持风格用这个设备做出手势。在我们的系统中的手势分为两种类型：基本手势和复杂手势。后者可以用一个基本手势的序列来表示。定义一系列的24个手势，包括8个基本手势和16个复杂的手势。建立一个有效的分割算法，自动识别每个基本手势的区域。通过分割，每个复杂手势被分割成几个基本手势。基于基本手势的运动学特征，提取25个特征，训练出前馈神经网络模型，前馈神经网络分类器可直接将输入的基本手势进行分类。不过，当输入复杂手势，需要通过一个额外的相似匹配程序，以确定最相似的序列。已提出的识别算法几乎完美满足的用户依赖和用户独立对基本手势和复杂手势的识别精度。基于5个科目，共计1600个轨迹的实验结果，成功地证实了前馈神经网络和相似匹配的手势识别算法的有效性。

关键词：加速度计 手势识别 手势分割 前馈神经网络 相似匹配。

1绪论

手势识别是理解和区分人类手指、手、手臂或头部的有意义运动的过程。^[1]手势作为一种自然、直观、方便的方式极大便利了人机交互（HCI）过程。例如，一个为行动不便的人群开发的，由手势识别控制运动的智能轮椅系统；通过五个手势分别控制轮椅的运动：左转、右转、前行、退后和停止。^[2]其他已提出的手势识别的应用包括生活机器人^[3]、自动识别用户状态的低成本电视控制系统^[4]和智能戒指^[5]。

传统的基于计算机视觉的手势识别可以在不与用户接触的情况下有效的追踪和识别手势^[6],[7]。然而，计算机视觉技术会受光照环境的影响，这会限制应用程序尤其是在移动的环境中。随着传感器技术的快速发展，三轴加速度计越来越饿多的应用于消费类电子产品，基于加速度计的传感装置的一个意义重大的优势是操作时可以不需要任何的外部参照也不会在工作环境中受限制^[8]。手势识别是比较复杂的，因为不同的人在做手势时的速度和风格都不一样。因此，一些研究员试图将结合从三轴加速度计与肌电图(EMG)传感器^[9],[10]或视觉传感器^[11],[12]所得数据，以提高系统的性能和鲁棒性。然而，多传感器融合增加了额外的费用和计算负担。

关于识别方法，隐马尔科夫模型（HMM）和动态时间规整算法（DTW）是两个重要且广泛使用的有效手势识别方法^{[2],[3],[9],[13],[14]}。其他方法包括概率神经网络（PNN）^[8]， Most Probable Longest Common Subsequence (MPLCS)）^[15]，Sign Sequence and Template Matching (SSTM) ^[16]和Stochastic Linear Formal Grammar (SLFG)）^[17]。一般，这个通过与研究众多轨道来构建分类器的想法和最终的用户系统是不一致的。为了开发一个用户独立的算法，AKL等人^[1]提出了一种基于加速度计的手势识别系统，在系统中应用DTW和AP算法训练出每个手势的模板。 一套的18个手势需要创建一个含有3780个轨道的数据库。本系统就这18个手势的识别对依赖用户和独立用户的识别精度分别达到99.81%、94.60%。

在本文中，提出一种基于加速度计的笔式传感装置以及一个前馈神经网络和相似匹配（FNN与SM）手势识别算法。本文的工作是建立在我们的手势识别系统的初级版本上^[5]。将手的运动产生的加速度采集并通过USB传输到笔记本（PC）。用户可以在自由空间里按照自己想法用手持设备做出手势。在我们的系统中的手势分为两种类型：基本手势和复杂手势。后者可以用一个基本手势的序列来表示。手势识别算法分为手势获取和手势图像预处理、手势分割、特征提取、分类器构建、基本手势编码、相似匹配。对于基本手势的识别，可直接用FNNC分类。然而，对于输入的复杂手势需要一个额外的相似匹配程序，以确定最相似序列。本文的主要贡献包括：1）提出了一种自动识别每个基本手势的起点和终点的分割方案，通过分割，每个复杂手势被分割成几个基本的手势；2）基于基本手势的运动学特征，提取了25种有效的特征；3）成功实现FNN和SM算法相结合；FNNC提供了高识别精度，而SM算法提高了系统的可扩展性；4）对依赖用户和独立用户的对比试验验证了用户对该系统的依赖性。

本文的其它部分如后文所述。我们首先在第二节介绍了基于加速度计的笔式传感器，在第三节详细的阐述了FNN和SM算法在手势识别中的用法，在第四节罗列出实验结果并讨论验证这个方法的有效性，最后在文章的结语中给出总结。

2传感器系统简介

笔式捕获装置，如图1，由一个三轴微机电系统（MEMS）加速度计（MMA9551L）和一个微控制器（IAP15W4K58S4）组成。MMA9551L可提供用户所需要的所有等级：plusmn;2g、plusmn;4g、和plusmn;8g，其电源电压为1.71V—1.89V。IAP15W4K58S4是新一代的高速8051单片机，电压范围宽（2.5V—5.5V），功耗低且与传统的8051单片机完全兼容。本系统中MMA9551L和IAP15W4K58S4的电源电压分别设置为1.8V和3.3V。在两者之间加入了电压转换器（PCA9360）解决电压水平不适配问题。笔式传感器的原理图如图2所示。

加速度计测量用户手部运动产生的模拟加速度信号，并通过内部16位A/D转换器将其转换成数字信号。单片机通过IIC接口从加速度计收集数字加速度信号并通过USB通讯传输给PC机进行进一步的信号处理和分析。试验中加速度计的灵敏度设置为-8g到 8g，输出信号采样频率设置为100Hz。所有在第三节中的信号处理过程都是在PC机上执行。笔型电路板的大小为14厘米times;2.4厘米times;1.5厘米，加速度计相应的协同系统如图1所示。

图1 传感器及其协同系统

图2 笔式传感器原理图

3手势识别

手势识别算法分为手势获取和手势图像预处理、手势分割、特征提取、分类器构建、基本手势编码、相似匹配。本文中，定义一套24个手势包括8个基本手势（见图3）和16个复杂手势（见图4）。因为基本手势的识别过程是复杂手势识别的一部分，我们将着重研究后者的全过程。用三轴加速度计检测手部运动的加速度信号，然后用移动的中值滤波器进行预处理。手势分割算法自动识别出每一个基本手势的起点和终点。特征提取后，这些基本手势的样本用来训练后期识别基本手势序列的FNN模型，然后用约翰逊密码编码这些已识别的基本手势序列，最后，通过比较预测的基本手势序列和标准模板序列之间的相似性，识别复杂手势。注意到基本手势的识别不包括编码和匹配的过程，而是直接被训练好的FNNC识别出。手势识别算法的流程图如图5，算法具体过程见下文。

图3 8个基本手势的轨迹

图4 16个复杂手势的轨迹及他们对应的编号

图5 手势识别算法流程框图

A手势介绍

8个基本手势包括右（R）、左（L）、上（U），下（D）、右上（UR）、左下（LL）、左上（UL）和右下（LR）如图3所示，16个复杂手势和对应的数字（1–16）如图4所示。基本手势运动可以由用户扩展，因为他们可以建立他们自己的序列轮廓。例如，手势“正方形”（手势号码为16）可以分为上，右，下和左。因此，生成U-R-D-L的基本手势序列。

B数据获取和信号预处理

手部运动的原始加速度信号由三轴加速度计生成并由单片机收集。为了减少不期望的手部运动的影响，采用按钮来触发采样。具体来说，应在执行手势之前按下按钮，并在手势完成后释放。测量信号总是被传感器的干扰以及用户的无意识抖动影响。为了解决这个问题，首先，通过从中减去手部运动产生的每个数据点的采样加速度的平均值来消除重力加速度。信号预处理的下一步是通过使用移动平均滤波器来减少高频噪声，其中表示为

(1)

其中a_s[n]是没有重力加速度的加速度信号，并且a[n]是滤波的加速度信号。在本研究中，我们设置M=5，即滤波器中的点数为11。

C手势分割

手势分割旨在从预处理的加速度中识别每个运动的起点和终点,可靠和准确的分割是手势识别的关键。每个复杂手势被分割成两个或更基本的手势运动间隔。在[1]和[8]中，通过按下和释放按钮直接分割手势轨迹。然而，这并不总是与真实情况一致，即运动的开始和结束点不总是按下和释放按钮的时间。在这里我们提出一个新的分割方案。给定预处理的加速度数据序列AS = {a [1]，a [2]，...，a [L]}，其中a[n] =（a_x[n]，a_y[n]，a_z[n]）是三维向量。 d [n]被定义为a [n]和a [n-1]之间的欧几里得距离。当没有手移动时，加速度相对稳定。相比之下，当手运动状态时，它变化显着。这意味着运动状态下的d [n]比没有运动的状态高得多，因此它可以用于分割手势运动。为了避免信号的干扰，应用移动平均滤波器

(2)

其中J[n]是经滤波的欧几里德距离N = 5。

图6中示出了手势“右”、“6”、“14”和“16”的预处理加速度和J。加速度主要在x和y轴上。注意到每个基本手势对应于J的主峰（用圆标记）。预定义一个临界值0.025g并且在J的曲线图中由黑色虚线指示出，可识别出基本手势运动间区域。每个基本手势的起点和终点分别用正方形和三角形标记，相应的运动间隔由阴影指示。此外，峰值的采样时间也由在加速度图中的用红色垂直点划线表示。注意，它位于加速度曲线的过零点附近。为了准确地检测主峰，我们判断当前点的值是否大于其左右20个点的值，以及两个连续峰之间的间隔时间应大于0.3秒。应注意两个相邻峰之间的最小J值可以大于临界值，如图6d所示。为了解决这个问题，选择最小点作为分割点。此外，在阈值周围可能存在一些干扰，因此产生多个交叉点。在这种情况下，最接近的峰值的点作为分割点。 处理两种特殊情况使得分割算法具有良好的抗噪声能力。

图6 手势分割 每个部分的上半部分中的蓝色实线，绿色虚线和红色虚线分别是x轴，y轴和z轴上的加速度。

（a）手势“右” （b）手势6 （c）手势14 （d）手势16

D.特征提取

手势识别的关键是提取反映不同手势的运动的有效特征。 由于复杂的手势被分割成几个基本手势，这里我们只提取基本手势的特征。 在这项研究中，从分割的手部运动间隔中提取了25个特征，包括MAVx，MAVy，RMAV，| Delta;MAV|，ALx，ARx，ALy，ARy，SLx，SRx，SLy，SRy,AJx,AJy,SAJx，SAJy，RAJ，SRAJ，Delta;AL，Delta;AR，|Delta;AL|，|Delta;AR|，SDAL，SDAR和r。 注意，下标x和y分别表示从x轴和y轴上的加速度提取的特征。 详细定义如下。

1. 平均绝对值

(3)

其中W是分割运动间隔的长度。

1. MAVx和MAVy的比率

（4）

3）MAVx和MAVy差值的绝对值

（5）

1. 峰值左侧最大绝对加速度点的加速度值

（6）

其中i=1,2,...,T且T是峰值采样时间。同理峰值右侧最大绝对加速度点的加速度值是AR且 i=T 1,T 2,...,W。

1. 设定一个临界值

我们得到最大绝对加速度的符号在峰值左侧

（7）

i=1,2,...,T且常数CA=0.7。注意：当max(|a[i]|)le;TH时，SL=0。同理可得到当i=T 1,T 2,...,W时的SR。

1. AL和AR的平均值

（8）

1. AJ的符号

(9)

1. AJx和AJy的比值

（10）

1. RAJ的符号

(11)

1. ALx和ALy的差值

（12）

我们也可以得到|Delta;AL|和Delta;AL的符号

(13)

同理得到ARx和ARy的差值

(14)

以及|Delta;AR|,SDAR.

1. X轴和Y轴之间的相关系数

（15）

其中cov(x,y)是协方差，sigma;_x和

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[138001]，资料为PDF文档或Word文档，PDF文档可免费转换为Word