浅析基于小波分解的图像融合

论文学习笔记

---

（备注：此篇心得基于论文 A wavelet-based image fusion tutorial. Gonzalo Pajares）

一、图像融合背景

对于同一场景的图像，由于成像方式、CCD的焦距、应用背景灯多种因素的影响下，往往会得到不同关注点下的多幅图像。通过对这项图像的融合，可能使得新产生的图像包含更过的信息，从而有利于人们认知、机器识别以及后续的图像处理。图像融合也分为像素级、特征级、决策级的算法，本篇学习笔记主要针对基于像素级的小波分解图像融合。

二、基于小波的图像融合

基于小波的图像融合主要是对小波多级分解后的图像系数进行一系列操作，从而得到可重构的小波系数对图像进行重构，从而达到图像融合的目的。

2.1图像预处理

图像预处理主要分为两个部分：对图像的重采样和待融合图像的配准。
重采样：保证待融合的图像具有相同的图像尺寸，保证分解后的小波系数是位置上一一对应的。
图像配准：为了保证小波系数在位置上的一一对应，此方法对图像配准具有较高要求，希望配准精度是亚像素级的。否则会出现十分明显的融合残影现象，如下图所示：

2.2小波多级分解（MSD）

参照第二代提升小波和方向提升小波
以上链接讲述了二代替身小波的原理以及自适应方向提升小波的matlab源代码和C语言源代码。在这里只需要强调的是进行小波分解后有低频小波系数LL，和一系列的高频小波系数HL,LH,HH以及多级分解后的跟高级数的高频系数。在图像融合的应用中，只需要对待融合图像的高频系数进行融合操作处理，低频系数则是看具体需求选取一幅待处理图像中的系数LL。

2.3图像融合

在本篇学习笔记中，待融合图像记为X,Y，融合后的图像记为Z。$D_X,D_Y,D_Z$分别为其小波系数，$A_X,A_Y$为其高频小波系数，p=(m,n,k,l)表示对应位置的小波系数，m,n分别表示p对应的空间位置，k表示小波分解级数，l表示小波分解的频带数。
基于像素的小波融合方法又可以分为基于单个像素的融合和基于滑窗内像素（窗可取3*3,5*5,7*7）的融合。

2.3.1基于单个像素的融合

一是取待融合图像MSD系数的加权和$D_Z(p) = w_x(p)D_X(p) + w_y(p)D_Y(p)$，最直白的即取小波系数的平均加权和，或者$D_Z(p) = \sqrt{D_X(P)D_Y(p)} + b$,b为偏置项，用来控制最终的输出小波系数。
一是取待融合图像MSD系数的绝对值较大者$A_i(p) = max(A_X(p),A_Y(p))$，一种改进的策略是在一个窗内如果大部分的系数都取X图像的系数，那么该窗内的中心点也取X图像的系数。

2.3.2基于滑窗内像素的融合

算法一：
融合的想法同于单个像素的融合，$D_Z(p) = w_x(p)D_X(p) + w_y(p)D_Y(p)$，关键在于权重$w_x(p)，w_y(p)$的选择，这里提出一个匹配度的概念，$M_{XY}(p)$描述了以p为中心像素的领域内p对X，Y的匹配程度，

$$M_{XY}(p) = \frac{\sum_{s\in S,t\in T}w(s,t)D_X(m+s,n+t,k,l)D_Y(m+s,n+t,k,l)}{A_x(p)^2 +A_y(p)^2 }$$
则有$M_{XY}$小于某个阈值$\alpha$，则取$w_X = 0，w_Y = 1$,反之如果$M_{XY}$不小于该阈值，
$$w_X = 0.5 - 0.5*(\frac {1-M_{XY}}{1-\alpha}), w_Y = 1- w_X$$
算法二：
根据窗内的高新能量来确定加权系数：
$$D_Z(p)=\left\{ \begin{aligned} D_X(p) & & \ if A_X(R^k)>A_Y(R^k) + T \\ D_Y(p) & & \ if A_X(R^k)<A_Y(R^k) - T \\ \frac{1}{P}\sum_1^pD_X(P) & & \ if |A_X(R^k)-A_Y(R^k)|<T \end{aligned} \right.$$
其中$A_I(R^k) = \frac{1}{N_k}\sum_{p\in C}A_I(p)$,也就是$A_I(R^k)$表示该窗内的小波能量。
算法三：
$$D_Z(p) = D_X(p)+D_Y(p) - \mu_x - \mu_y + \frac{\mu_x+\mu_y}{2}$$ ,其中$\mu_x，\mu_y$是给定窗的系数均值。

2.4基于小波的图像融合总结

优点：实现简单，对单个像素或者单个值进行操作，往往只需要对图像和窗内所有值进行遍历操作即可，没有复杂的程序实现问题。
缺点：过度依赖图像配准结果，如果图像配准有较大的角度，位移、畸变等误差，会导致融合结果出现较为严重的残影现象。