图像处理-PR

图像处理

---

• 译文
• 参考

基础概念

• 图像仿射变换：在齐次坐标($[xw,yw,w]$)下做的变换，变换矩阵形如$\begin{bmatrix} a & b & \Delta x \\ c & d & \Delta y \\ 0 & 0 & 1 \\ \end{bmatrix}$，也就是$\begin{bmatrix} x'\\ y'\\ 1\\ \end{bmatrix} = \begin{bmatrix} a & b & \Delta x \\ c & d & \Delta y \\ 0 & 0 & 1 \\ \end{bmatrix} \begin{bmatrix} x\\ y\\ 1\\ \end{bmatrix}$。
  
  • 其中，齐次坐标的$w$取为$1$。
  • 可以做平移和旋转等。

---

• 图像的局部特征：参考局部特征——入门篇

  • 简单说，局部特征点(区域)是图像中的一些点(区域)，这些点(区域)具有比较重要的描述图像特征的意义，比如通过这些点可以一定程度还原出原图像，或者实现两张有重复部分的图像的拼接。图像特征可用于图像拼接、图像匹配等。
  • 特征描述符就是用于描述特征点的方法。
  • 参考1 图像处理中特征点的理解
  • 参考2 从特征描述符到深度学习：计算机视觉发展20年

• 旋转不变性

• 高斯滤波
• 特征提取(SIFT, GLOH, etc)
  
  • bin $\to$ 层?

---

• 图像强度顺序: ?
• LIOP：基于强度顺序的特征描述

---

LIOP的定义和原理

• 将每个特征点(区域)正规化到一个直径固定(论文中实验使用的是41个像素)的圆域，然后分成$\large{5}层$。(bin)
• 将各层LIOP叠加到一个直方图。

第一步

• 稳定排序，将排序映射($\gamma(P)=\pi$)到一个全排列顺序($\pi = (i_1,i_2,\dots,i_N),满足p_{i_1}\le p_{i_2}\le\dots\le p_{i_n}$)中。如$\gamma (12.3,\ 10.2,\ 64.0,\ 12.3) \left[\to (2,\ 1,\ 4,\ 3)\right] = 8$。注意其中排序过程的稳定，也就是对$p_1 = p_4$，排序结果是$p_1 < p_4$，而不会是$p_4 < p_1$，原来相等的强度值依然保持原来的相对顺序，而不等的强度值则强度值小的排在前面。根据上述定义，有一个显见的性质：
• 两个排列有相同的映射值，则二者有相同的排列顺序。反之亦然
  
  • 记$S(\pi)=\{P | \gamma(P) = \pi, P\in \mathcal{P}^{N},\pi\in\Pi^{N}\}$
  • 则对$\forall P,P'\in S(\pi)$，有$p_{i_1}\le p_{i_2}\le\dots\le p_{i_n},p'_{i_1}\le p'_{i_2}\le\dots\le p'_{i_n}$，二者对应排列的相对顺序相同。
• 编码方式也是显见的：首先预处理建立出一个通用索引表，然后在描述时只需要表达索引标号(排列序)即可。论文中提出使用一个特征向量，向量长度为$N!$，对应索引值下标为$1$，其他为$0$。比如上面的排序数为$8$，则对应的特征向量就是$V=(0,0,0,0,0,0,0,1,0,0,\dots)$，记为$V_{N!}^{Ind(\pi)}$，含义为$N!$中的第$Ind(\pi)$个序列，$Ind(\pi)$为映射$\pi$对应的排序数(也即在索引表中的索引值)。
  
  • 为什么局部块会被分为$N!$块？

第二步(LIOP Definition)

• 令$N$维向量$P(x)$为局部块中，像素点$x$邻域内的$N$个取样点的强度值(亮度值)。定义 $$\begin{align} LIOP(x) &= \phi(\gamma(P(x)))\\ &= V_{N!}^{Ind(\gamma(P(x)))}\\ &= (0,\dots,0,1,0,\dots,0) \end{align}$$
• 约定特征向量$P$中，第一个分量为从局部块(圆形的)的中心到像素点$x$的射线上距离圆心较远的那个点(射线和以像素点为圆心的取样小圆共有两个交点，取较远的一个)，然后依逆时针顺序依次编号。
  
  • 根据上述编号规定，该描述符就具有旋转不变性了。可以发现，图像旋转后，特征点随之旋转。

第三步 LIOP Descriptor

一个局部块的LIOP描述符定义为

$$LIOP\ descriptor = ({des}_1, {des}_2, \dots, {des}_B), ~其中~{des}_i = \sum_{x\in {bin}_i} LIOP(x)$$

---

程序运行

• 需要使用.ppm格式的图片，可以使用bmptoppm转换
• 使用Affine Covariant Region Detectors根据图片得到特征区域(region)
• 使用原图片和区域数据，得到处理结果(局部描述符)

测试过程

• 将使用harris-affine特征点检测方法检测到的区域(Detected Region)，使用dominant_orientation.m
和normalize_regions.m处理，得到正规化的特征区域(Normalized Region)
• 使用特定的特征描述方法(Region Descriptor)，对正规化后的特征检测结果用特征描述方法描述。
• 对不同的描述方法(如SIFT和本文所提出的LIOP)进行对比

总结

《……》这篇论文介绍了一种