稀疏表示与稀疏分解

稀疏表示与稀疏分解1.稀疏表示介绍稀疏表示，它意欲用尽可能少的非0系数表示信号的主要信息，从而简化信号处理问题的求解过程。稀疏表示模型可如表达式(1)所示，其中y∈R^n为待处理信号，D∈R^(n×m)为字典，x∈R^m为稀疏系数，||x||_0≪m。||x||_0为x的稀疏度，它表示x中非0稀疏的个数。y=Dxsubjecttomin||x||_0(1)n×mm×1n×1几个专业名词解析:•原子：原子即为字典的列向量。•完备字典与过完备字典：•如果字典D中的原子恰能够张成n维的欧式空间，则字典D是完备的。•如果m＞＞n，字典D是冗余的，同时保证还能张成n维的欧式空间，则大字典D是过完备的。•我们一般用的字典都是过完备的，因为在过完备的字典下分解稀疏系数不唯一，这也恰恰为图像的自适应处理提供的可能，我们可以根据自己处理的要求选择最合适的最稀疏的系数。其实求解过完备的稀疏表示模型等价于寻求欠定系统的最稀疏解问题。D∈R^(n×m)且m＞n时，如何求解y=Dx即如下我们已经知道在过完备字典的条件下稀疏系数是不唯一的，但是否我们可以求出最稀疏解呢？Elad和Bruckstein在2004年对下述定理进行了证明：定理1：设D为一个相干系数是μ的原子库，D={gi，i=1....M}。如果一个N维的信号s可以表示为：并且＜1/μ,那么上式就是信号s在D中最稀疏的表示。注释：定理1中的非相干原子库D指的是指相干系数μ小于某一常数的原子库，相关系数定义如下：相关系数的大小与原子的相关性呈正比。若μ=1，即表明原子库中至少有两个原子相同，当μ比较小时，即表明原子间的相关性不高即可称此原字库为非相干原字库。面对稀疏表示模型，有三个关键问题需要解决，如下:1.如何有效获取图像在字典中下最稀疏的分解系数?2.如何设计与构建有效的图像稀疏表示字典?3.如何将图像稀疏表示模型应用于具体的图像处理反问题中?今天我主要讲的是求解稀疏系数问题。2.稀疏分解算法获取信号在过完备字典下的最优稀疏表示或稀疏逼近的过程叫做信号的稀疏分解，这是稀疏表示能否在实际图像处理中应用的基本问题。但是由于L0范数的非凸性，在过完备字典之下求最。主要采用的逼近算法1.凸松弛法基追踪（BP）,基追踪去噪算法（BPDN）,平滑L0范数（SL0）等等。2.贪婪法匹配追踪（MP）,正交匹配追踪（OMP）,弱匹配追踪等等。2.1凸松弛法凸松弛算法的核心思想就是用凸的或者是更容易处理的稀疏度量函数代替（1）中非凸的L0范数，通过转换成凸规划或非线性规划问题来逼近原先的组合优化问题，变换后的模型则可采用诸多现有的高效算法进行求解，降低了问题的复杂度。我在这里主要介绍的是基追踪算法（BP）与基追踪去噪算法（BPDN）。这两个算法的基础是用L1范数替代L0范数即将subjecttoy=Dx转化为subjectto||y-Dx||_2＜εx0minx1min为什么L1范数与L0范数效果会等价?Elad和Bruckstein在2004年对下述定理进行了证明：定理2：如果信号s在原子库中存在一个系数表示，而且满足下式:则此分解的L1范数最小化问题有唯一的解，即为L0范数最小化的解。1.如果满足定理1中的条件，则L0范数的问题将有唯一最稀疏解;2.如果进一步的满足定理2的条件，则L0范数的优化问题与L1范数的优化问题等同，即对求解稀疏系数的最小L0范数问题就转化成为了最小L1范数问题。基追踪：我们将L1范数替换L0范数之后，稀疏表示模型：min||x||_1subjecttoy=Dx就变成了一个常见的线性规划问题，我们可以用单纯性算法或内点法来求解.基追踪去噪：我们可以把上式的模型加以变形为：min（x）½||y-Dx||_2+i||x||_1这个称为L1范数最小二乘规划问题，我们可以用梯度下降或梯度投影法进行快速的求解。凸松弛算法的有效性依赖于过完备字典自身是否存在快速的变换与重建算法，例如对于正交基字典算法具有较高的效率，然而对于一般的过完备字典，凸松弛算法仍具有非常高的运算复杂度。2.1贪婪法我们知道稀疏解x包括非0系数的位置索引和幅值两个信息，贪婪法的主体思路是先确定x中非0元素的位置索引，然后用最小二乘求解对应的幅值。与凸松弛算法相比，贪婪法具有比较低的复杂度。我们这里主要介绍的算法是匹配追踪算法（MP）与正交匹配追踪算法(OMP)。因为这两个算法是复杂贪婪算法的基础。2.1.1匹配追踪法MP算法的基本思路是在每一次的迭代过程中，从过完备字典D中选择与信号最为匹配的原子来构建稀疏逼近，并且求出信号表示残差。之后继续选择与信号残差最为匹配的原子，再经过一定次数的迭代，信号就可以由多个原子线性的表示。x为信号，为用于稀疏分解的过完备字典的原子（即列向量），为r的集合。原子都做了归一化处理=1。首先从过完备库中选出与待分解信号x最为匹配的原子，何为最为匹配就是信号在原子上的投影最大时：信号可以分解为在最佳原子上的分量和残余信号两部分，即为：其中R1x为残余信号，初始值R0=x。由投影的原理可知与R1x是正交的，故可得：由上式可知要使残差R1最小，则投影值要求最大。对最佳匹配后的残余信号可以不断进行上面同样的分解过程，即其中满足要求。由此经过n次迭代之后信号被分解为：Rnx表示为信号分解为n个原子的线性组合时信号的残差。由于我们使用每步都取最优原子，故可知残差是会迅速下降的，当n达到无穷是，残差即无限接近于0.我们可以根据自己的要求设置n的值来使信号稀疏，n也可以称为信号的稀疏度。但是由于信号在已经选择的原子上面的投影一般都不会正交，所以每次迭代的结果都不是最优的。故我们要求达到摄像的收敛条件，可能需要过多的迭代次数，计算复杂度比较大。所以我们思考如何改进算法可以有效减少复杂度，正交匹配追踪应运而生了。正交匹配追踪算法与匹配追踪算法的唯一的区别在于我们在递归的对于所选择原子集合进行了正交化处理，为什么要这么做？因为这样我们可以保证每次结果都是最优的，从而可以有效的减少了迭代次数，提高了算法效率。即在每次选择的原子用Rram-Schmidt正交化处理：其中Up为上一次的原子正交结果，初始Up=。需要注意信号现在在原子正交化的Uk上投影而非原来的原子上投影了。其余步骤与匹配追踪一样的。2.1.2正交匹配追踪BP与MP的算法有效的理论条件与精确重构条件定理我们知道MP与BP算法使用了不同的策略求解模型,我们求解稀疏系数与字典D的选择密不可分，前面我们引用定理我么知道了L1范数最稀疏表示形式时，字典相干参数μ有大小限制。那么我们用BP和MP算法一样都能够精确重构原信号（也就是求出最稀疏解）时μ的条件是什么呢？Tropp在2004年提出的精确重构条件(ERC)揭示了信号的稀疏性与字典的相干参数μ的关系。定理（ERC）给定信号y，字典D，记D的相干系数为μ，为字典小中所有原子参数的指标集。如果信号y在字典D中下可以表示为y=Dx,且满足:||x||0=（1+μ~-1）/2那么BP与MP算法都可以追踪到信y在字典D下的最稀疏解。当然BP与MP是不等价的，在很多情况下BP算法求出的解有更好的稀疏性，而MP算法则表现出更好的性能。THANKYOU