基于二维EMD图像融合外文翻译资料

英语原文共 5 页，剩余内容已隐藏，支付完成后下载完整资料

基于二维EMD图像融合

N. Rehman1 and D. Looney1 and T. M. Rutkowski2 and D. P. Mandic1

帝国理工学院，英国

RIKEN脑科学研究所，埼玉，日本

E-mail: {naveed.rehman07,david.looney06,d.mandic}@imperial.ac.uk, {tomek@brain.riken.jp}

摘 要

经验模式分解（EMD）算法是一种完全的数据驱动的方法，用于执行自适应分解的非线性非平稳信号。最近已经证明，它的复杂扩展可以用于多个图像的融合，因为复杂的EMD允许在共同的频率尺度之间进行比较，将它们对准单个复杂的IMF中。本文针对两幅图像的融合提出了EMD的复延拓方法，提出了基于灰度和RGB的彩色图像融合方法。通过对真实世界多重曝光图像的仿真，显示了该方案的优越性。

关键词：经验模态分解 复信号 复杂/二维经验模态分解 图像融合 多重曝光图像

1. 简介

多幅图像融合的目的是产生一个单一的输出图像，它具有所有融合图像的显著特征^[1][1]。融合技术尤其适用于很难获得所有相关对象都是“焦点”的图像，而多个“非焦点”图像必须结合在一起才能产生一个单一的“聚焦”图像。另一个重要的应用是来自静态场景的多个多曝光图像的融合，这需要在一个大范围的亮度/辐照度限制相机捕捉一个镜头的所有特征的时候。在这种情况下，总会有一些区域被过度曝光或曝光不足。这些过度暴露的区域通常比那些暴露在光线下的区域的信息更少，因此需要融合。对于多个图像的融合，一组技术通过将图像分割成几个不重叠的块来完成“局部”融合。随后，在融合图像中选择承载较大信息的图像块。利用这种方法，Goshtasby提出了熵作为多重曝光图像融合的信息测度^[2][2]。然而，该技术并没有对输入信号(多尺度融合)的多个自然频率尺度下的分解图像进行局部融合，因此是次优的。

其他已建立的多幅图像融合技术，主要是利用一些信息测度，结合输入图像的多尺度分解。多分辨率小波变换通常用于提供所需的分解，在此之后，分解信号对应的系数被方便地组合成融合图像的系数^[3][3]。融合系数的逆小波变换得到了良好曝光的融合图像。最近还通过离散的cosine transform (DTC)域实现了融合^[4][4]。然而，在傅里叶域中，这些技术无法在“局部”层面上提取图像的细节，因此无法在本地进行融合，这是由于它们的非自适应性质。此外，傅里叶分析和DCT对正交正弦信号的输入信号，无论输入数据的性质如何；而小波也基于将输入信号投射到某些固定的先验基函数上，使得它们不适合处理非平稳信号。由于真实世界的图像通常是非线性和非平稳的，因此需要一种完全自适应的方法来进行融合。

经验模式分解(EMD)算法，最近提出用于处理非线性和非平稳信号，对信号进行自适应分解^[5][5]。EMD算法的完全自适应和数据驱动特性使其优于其他已建立的信号处理工具(傅立叶、小波分析)，它利用固定基函数的投影来分解输入信号。在^[6][6]中，将实值EMD用于融合视觉和热图像，并表现出优于小波和基于PCA的方法。然而，由于EMD的经验性质，不能保证从两个来源获得相同数量的IMFs，这使得“按照比例缩放”的比较困难。而且，即使生成了相同数量的IMFs，也不可能使用实值EMD来将相似的频率模式与不同的源进行匹配。Looney和Mandic使用EMD的双变量扩展^[7][7] 来解决这个唯一性问题，以在融合多聚焦图像的情况下同时处理两个图像。这样，两个原图像产生的IMFs不仅数量相同，而且两个图像的频率尺度都是在单个复杂的IMFs中对齐的，这样可以更好地比较输入数据的相关标量图像。

在这一工作中，我们建议使用经验模式分解算法的复杂扩展来同时实现多个图像的“多尺度”和“局部”融合。为此，我们针对基于灰度级和RGB的彩色图像提供了单独的融合方法。通过对真实世界多曝光图像的仿真，将所提出的方案的结果与基于标准小波的融合方法进行比较。

2. 经验模态分解

经验模式分解是一种完全自适应的分解非线性和非平稳信号的方法。它通过对输入信号的“筛选过程”来获得一组有限的振荡分量，也称为固有模式函数(IMFs)。这些固有模式函数的设计目的是确保每个IMF在原始信号中包含一个局部的、固有的振荡模式，并且它表现出良好的时频光谱。

对于一个输入的实值信号x(k)，EMD算法的结果把信号分解成M振荡模式，IMFs，和残余信号r(k)，由下列表示

X(k)=_j(k) r(k) （1）

残余信号r(k)是一个单调函数，表示信号的总体趋势。为了从输入信号中提取单个的IMFs，使用了一种称为筛选算法的迭代过程。从一个信号(k)中获得第一个IMF的筛选算法的细节如下:

1. 找出所有(k)的极值点的位置；

2. 在所有极小值之间(使用样条插值法)插入极大值,通过极小值(k)和极大值(k)获得信号包络；

3. 计算局部平均值m(k)=((k) (k))/2；

4. 减去信号的平均值，得到“震荡”信号s(k)=(k) minus; m(k)；

5. 如果得到的信号s(k)遵循停止条件，则d(k)＝s(k)成为IMF，否则设置x！(k)＝s(k)，并从步骤1重复过程。

最后一个步骤中使用的停止准则可以作为归一化两个连续平方差筛选迭代(k)和(k)。。

3. 经验模式分解的复杂扩展

最近，针对复杂/二维信号提出了一些EMD的扩展。在^[8][8]中首次提出了在复杂域中充分运行的EMD的扩展，称为旋转不变EMD (RI-EMD)。复杂/二维信号的极值被选择为复杂信号的导数为零的点所对应的值，这是基于信号相位的变化。在数学上，这个定义等价于复杂信号的虚部的极值，就像给出一个复杂的信号z(t)一样，如下所示：

L（t）=0 L{} = 0

= 0 (t) = 0. (2)

包络线采用分段样条插值法，对应于最大值和最小值点，然后取平均值，得到二元信号的局部均值。该过程的其余部分与实值EMD相同。从筛选过程中获得的复杂的IMFs在物理意义上是有意义的，因为该过程直接在复杂的域中进行操作。

RI-EMD算法只使用复杂信号的虚部的极值来计算局部均值，从而得到对应于两个方向的包络。为了估计复杂信号的局部平均值的准确值，必须在复杂的域中考虑对应于多个方向的包络。二维EMD^[9][9]通过将复杂信号投影到二维空间中的多个方向，并计算每个方向对应的包络线来实现这一目标。包络曲线是通过在预测信号分量的极值点之间插值而形成的。得到的多个包络平均得到当地的平均信号。可以注意到，RI-EMD可以作为二维EMD的特殊情况，有两个投影方向。

由于二维EMD使用多个方向进行投影，它估计多个包络来计算本地平均值。因此，对局部均值的估计比RI-EMD的估计更准确。本文用二维EMD进行了所有的仿真，并给出了八个方向的投影。

图（1）利用双变量EMD算法对合成复杂信号进行多频模式分解

4. 多重曝光融合的二维扩展

我们建议使用EMD的复杂扩展来融合两个图像，同时进行“局部”和多尺度融合。在本节中，我们提出了两种不同的方法来实现灰度和基于RGB的彩色图像的融合，使用一个简单的局部变量融合算法，该算法在每个尺度上进行操作。

4.1 普通频率模式的校准

首先，有必要说明在输入数据[7]中，复杂的IMFs是如何对齐“通用尺度”的，因为这对于多幅图像的多尺度融合是至关重要的。为了达到这个目的，一个复杂的信号由三个正弦信号组成。复杂信号的实部和虚部在图1的第一排(由X和Y表示)中显示。实部和虚部的共同之处是两个正弦频率分量，而一个高频正弦信号只增加到实部。将双变量EMD算法应用于产生多个复杂值IMFs的复杂信号，其组成部分如图1所示。观察两个实数和虚部的正弦信号在第二和第三个IMFs上是一致的，而其余的高频模式仅出现在第一个IMF的实部。因此，通常的频率模式在相应的IMFs上是一致的，这使得真实的和想象的组件之间有了有意义的比较，从而促进了局部的融合。

图（2）基于二维EMD的多灰度图像融合方法

4.2 基于复杂EMD的局部图像融合

在这一节中，我们提出了一种利用EMD的复杂扩展将两个图像融合到单个改进图像的方法。所采用的方法与[7]中使用的方法类似，用于将两个非焦点图像融合在一起。提出了一种新的多尺度图像融合规则，更适合于曝光图像的融合。此外，还提出了一种利用二维EMD的多个应用来融合两个彩色图像的方法。

图（3）基于二维EMD的RGB彩色图像融合方法

4.2.1 灰度图像融合方案

两个输入的灰度图像，每一个都被认为是二维数组，并由a和B表示，通过连接它们的行首先转换成行向量。两个这样的行向量组合成一个复杂信号的实部和虚部。将二维EMD应用到复杂信号中，得到了M复杂的IMFs。然后将每个复杂的IMFs的实部和虚部分离，并将其重新转换为二维图像，结果为每个输入图像的M尺度图像，由A_i和B_i表示，其中i =1，hellip;，M，如图（2）所示。然后根据每个空间点的局部方差估计值计算的系数值，将尺度图像结合在一起，给出一个融合的图像F，系数值通过（3）式计算：

F(i,j) = (i,j)A_i(i,j) beta;_n(i,j)B_i(i,j) (3)

alpha;_i(i,j)和beta;_i(i,j)系数的位置由每个尺度的局部方差的相对值确定，分别由下列式子表示：

alpha;_n (I,j) = (4)

beta;_n(I , j) = (5)

var[A_n(i,j)]表示在一个小块(i,j)附近计算的局部方差。

图（4）中上面图像下区域的曝光不足，下面图像曝光过度

图（5）利用离散小波变换得到的融合图像

4.2.2 基于RGB的彩色图像融合方案

为了将融合方法扩展到基于RGB的彩色图像，我们建议将灰度融合的方法分别应用于彩色图像的三个通道(红、绿、蓝)。也就是说，两个输入图像中的红色、绿色和蓝色通道分别由bivariate EMD算法的三个独立应用程序处理，如图3所示。结果，得到了两种输入图像的红、绿、蓝通道对应的三组复杂值的IMFs。这些由Rl、Gm和图3中的Bn表示。注意，虽然二维EMD的三个实例通常会产生不同数量的复杂的IMFs，但是每个集合都是由融合算法单独处理的，以产生融合的红、绿和蓝色通道。融合的通道最终组合成一个融合的基于RGB的彩色图像。

图（6）使用复杂的EMD扩展获得的融合图像

（a）

（b）

图（7）中(a)在输入图像上从“局部”融合获得的融合彩色图像；(b)由EMD的复杂扩展获得的融合彩色图像

5. 结果

图（4）是在多次曝光下获得的工作表。注意，在第一个输入图像中，较低的区域被严重地暴露，而图像的上部，显示了表本身的细节，是很容易暴露的。在第二个输入图像中，由于过度曝光，表上的细节被隐藏，但是表下面的区域被充分暴露。

为了便于比较，采用多分辨率小波融合方案进行多曝光图像融合。对于小波融合，首先将离散小波变换(DWT)应用于两个输入图像，以获得其多尺度分解。将两个图像的相同分解水平对应的小波系数结合起来，得到融合的多尺度系数。在得到融合的多尺度系数后，利用反小波变换将它们转换回融合图像。在我们的模拟中,我们选择其中最大系数对应于更清晰的图像中亮度的变化,如边缘、线条等。最大小波系数的选取也符合局部方差融合算法，因为这两个标准都选择了强度的变化作为图像中的显著特征。

图5使用离散小波变换(DWT)显示图4中图像融合的结果。在融合的图像中，失真是明显的，尤其是在图像的上半部分电缆和纸张周围的工件显示的细节。在小波融合图像

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[23458]，资料为PDF文档或Word文档，PDF文档可免费转换为Word