周报w3

周报

---

概况

我坚信，RandomFace重构是可行的。本周时间在整理思路，设计算法。设计算法时跑了一些小实验，测试可行性。本周工作主要在RandomFace的启发下，研究如何用Random基结合稀疏表示重构图形.
这次的周报，数学公式较多，md编辑起来比word便捷很多。

推导

对于第i类，令$A_i= [v_{i, 1}, v_{i, n}] \in R ^{m\times n_i}$ 测试集 $y \in R ^{m}来自新的测试集。其中$m$是raw image的维数。

我们有线性假设： 如果$y$属于类i，则可以用若干个类i中的训练点$A_i$线性表示。即

$$y = \alpha _{i, 1} v_{i, 1} + \dots + \alpha _{i, n_i} v_{i, n_i}$$
当合并每一类i时，应该有$A = [ A_1, A_2, \dots, A_k]$
那么理想情况下，
$$y = Ax_0 \in R^m$$
其中$x_0 = [0, \dots, 0, \alpha_{i, 1}, \dots, \alpha_{i, n_i}, 0, \dots, 0]^T \in R^n$

这里面A的每一列，就是一个m维的training sample。n是training sample。

当m>n 时，是一个不定矩阵。采用优化问题：

$$x_2 = argmin |x|_p, s.t. Ax = y$$
p = 0, 1, 2。当p=0,1时，就是稀疏编码的范式。

线性假设

在人脸集上被证明是合理假设。

引入Random base的动机

在计算Ax = y时，如果使用raw data, 维数太高，计算复杂。希望找到投影到更低位空间的feature space，投影$R \in R^{d \times m}$ 且 $d << m$.当R同时作用于式子两端，就有：

$$Ry = RAx_0$$
令$\bar y = Ry$, 这样优化目标就变成了

$$\bar x = argmin |x|_1 s.t. |RAx – \bar y| < \eps$$

而Random Base的R是随机的。

randmatrix = randn(dims,IMG_H*IMG_W);
l2norms = sqrt(sum(randmatrix.*randmatrix,2)+eps);
randmatrix = randmatrix./repmat(l2norms,1,size(randmatrix,2));
randomfacefeature = randmatrix*feature;

Random Base的理论证明

Wright J, Yang A Y, Ganesh A, et al. Robust face recognition via sparse representation[J]. IEEE transactions on pattern analysis and machine intelligence, 2009, 31(2): 210-227.
3.1节

设计的算法

1. 随机取n0个Random base，就是R
2. 在每一类上随机选取n1个train_sample。
3. 把Sample并起来，就是A
4. 对于每一张询问$y$, 用相同的R映射到feature space上，即得到$\bar y = Ry$，求解优化问题，得到稀疏编码x
5. 这时的稀疏编码，只是可以重建feature $\bar y$，重建$y$的关键在于稀疏假设。即，如果$RAx \to \bar y = Ry$，那么在源空间上，就也有$Ax \to y$
6. 重构:直接用并好的A*x求y

其它

用ScSPM的feature直接输入LC-KSVD，

method	mAP
all ScSPM	0.967456
ScSPM fea + LC-KSVD	0.833

分析原因：
1. ScSPM里分类器用的SVM，LC-KSVD只用了linear logistic regression
2. 维数不同，LC-KSVD里面claim处理的维数只有3000维左右，按时ScSPM的fea直接喂进去是21504维。

---

本周计划

1. 实现测试Random base在OCT上面的算法。