ICA讲课

控制工程梁奇20150101012015-11-18ICA是20世纪90年代提出的，起初是神经网络的研究中有一个重要的问题，独立成分分析是一个解决问题的新方法。在许多应用方面，包括特征识别、信号分离。这种方法是用一种解线性方程组的估计方式求解信号源。假想一下，在一个房间里的不同位置放着三个麦克风，同时有三个人说话。三个麦克风能同时记录下三个时间信号，如果仅用这三个记录的信号来估计出原来的三个语音信号，那将是一件非常有意义的事情，这也就是所谓的“鸡尾酒会”问题。一、问题的引入鸡尾酒会问题：从嘈杂的人声中提取所关心对象的声音。ICA——一种盲源分离的方法声音提取：典型例子：“鸡尾酒会”的问题。人的大脑可以很快辨出或集中听某种需要关注声音。)()()()()()()()()()()()(333232131332322212123132121111tsatsatsatxtsatsatsatxtsatsatsatx)(1tx麦克风1麦克风2麦克风3)(2tx)(3tx11a12a13a21a22a)(1ts)(2ts)(3ts23a31a32a33aa为权重的参数，在鸡尾酒舞会问题中为距离，x为三个话筒得到信号，s为三个表演者的声音。这三个人的声音相对独立并且忽略所有的其他因素比如声音的时间延迟。如果我们知道a的参数，也就是说知道距离，反解出s就很简单。（半盲源）但ICA是在不知道a和Si(t)的情况下的一种估计的算法，也就是说的盲信号分离的一种算法。)()()()()()()()()()()()(333232131332322212123132121111tsatsatsatxtsatsatsatxtsatsatsatx根据源信号的统计特性，仅由观测的混合信号恢复(分离)出未知原始源信号的过程雷达、声纳、通信、语音处理、地震预报和生物医学等“盲”源信号不可观测混合系统的特性事先不可知盲源分离（BlindSourceSeperation）信号的分离盲源分离（BlindSourceSeperation）源图像混合后的图像分离后的图像假设源信号由若干个统计上相互独立的信号组成的，它们在空间中形成交叠，ICA是借助于多个信道（话筒）同步观察交叠信号，将观察信号经过解混分解成若干独立成分，作为对源信号的一组估计。信号源1()st2()st3()st()Mst混合系统A观察信号1()xt2()xt3()xt()Mxt解混矩阵B估计信号1()yt2()yt3()yt()Myt1信道2信道3信道n信道(t)S(t)X(t)YW22212122121111)()(sasatxsasatxTwoIndependentSourcesMixtureattwoMics用线性方程组表示为推广到一般：这里,i,j=1,2,…,n是实系数假定：sj是独立的，称为独立成分（IC）转换为向量-矩阵符号表示ICA理论的目标是通过X求得一个分离矩阵W，使得W作用在X上获得的信号Y是独立源S的最优逼近。SAX=ASWTY=WTX混合矩解混矩阵ICA模型的约束为了确保上边刚刚给出的基本的ICA模型能被估计，我们必须要做出一定的假设和约束。1.独立成分被假定是统计独立的；2.独立成分具有非高斯的分布；3.假定混合矩阵是方阵，且可逆；4.假定所有混合变量与独立成分都是零均值。假设是ICA能够成立的前提概念上理解：我们说随机变量y1，y2..yn独立，是指在i≠j时，有关yi的取值情况对于yj如何取值没有提供任何信息。技术角度上理解：联合概率密度等于各边缘概率密度的乘积。)()(),(yfxfyxfYX如果观测到的变量具有高斯分布，那么ICA在本质上是不可能实现的。原因：如果s1和s2都是标准Gaussian分布，那么他们的联合概率密度为：假定S经过混合矩阵A后，他们的联合概率密度仍不变化，因此我们没有办法在混合后的成分中得到混合矩阵A的信息。）/2||s||-（exp2π1=)/2]s+exp[-(s2π1=)s,P(s2222121换句话说，就是独立成分的个数与观测到的混合量个数相同。•零均值化的目的：去除均值对变换的影响，而减去均值后数据的信息量没有变化，即数据的区分度（方差）是不变的，减少幅度不确定性。变量中心化（零均值化）（1）如果实际情况不满足零均值，可以通过中心化（centering）实现''xExx（2）同时，独立成分也变为零均值的量}{}{1xEAsE（3）混合矩阵可以保持不变，完成独立成分估计后，可以将独立成分加上而恢复}{'1xEA白化（Whitening）给定一些随机变量，通过线性变换将它们转换为相互无关的变量，这类方法称为白化或者球面化白化的目的：消除特征之间的相关性，降低输入的冗余性通过白化可使输入具有如下特征：（1）特征之间相关性低；（2）所有特征值具有相同的方差。（1）独立一定不相关（2）不相关不一定独立但是如果，X，Y服从二维正态分布，那么它们不相关与相互独立是等价的)()(),(yDxDyxCovxy0)()()(),(yExExyEyxCov（3）白化比不相关略强些若一个零均值的随机向量y是白化的，那么它的各分量具有相同的单位方差且互不相关。即y的协方差矩阵是单位阵.（4）白化可以通过线性操作完成给定n维随机向量x，寻找线性变换V(白化矩阵)，使得变量z投影到新的子空间后变成白化向量。IyyET}{Vxz其中，E=(e1,e2,…,en)是以协方差矩阵TEEDV2/1TxxxEC的特征向量的正交矩阵)...(1ndddiagDD是以Cx的特征值的对角阵,（5）V不是唯一的白化矩阵任何UV（U为正交阵）也是白化矩阵，即y也是白化的，y=Uz(z为白化矩阵)（6）由于y可以是z的任意正交变换，因此，白化最多只能给出在正交变换意义上独立的成分（IC）的一个可能集合。ICA实际上是一种寻优问题，即在各种可能的集合中找到一个最优解，使得分离出的独立分量最大程度的逼近各个源信号。key根据中心极限定理，在某些条件下，独立随机变量的和在一定条件下趋近于高斯分布。即独立随机变量的和比原始独立随机变量中的任何一个更接近于高斯分布。可以认为越具有高斯性，其独立性越差反之，非高斯性越强，独立性越强为了在ICA估计中使用non-Gaussianity，我们必须有一个对它的定性度量。常用方法种：Kurtosis（峭度）Negentropy（负熵）经典的测量非高斯方法是kurtosis，或称4阶累计量。y的kurtosis被定义为224)]3[E(y-)E(ykurt(y)，高斯变量，非高斯变量非00)(ykurt第二个非常重要的非高斯测量方法是负熵，它是基于信息理论上熵的概念。随机变量的熵可解释为给定观察变量的信息度，越随机，熵越大随机向量y的密度f(y)的微熵H被定义为:dyyfyf)(log)(H(y)是高斯分布，不是高斯分布，非负熵y0y0J(y)这里yGuass是一个高斯随机向量，与y有相同的协方差，y为高斯分布时，Negentropy为零，其它分布时不为零ICA模型：x=Ass=A-1x令y=wTx则y=wTx=wTAs=qTs其中q=ATw这样的话y是s的线性组合，y应该比s更具有高斯性，除非wT接近A-1。此时，y=wTx=A-1x=s。也就是说y=s时，y具有最大非高斯性。问题转化为求解w，它最大化wTx的non-Gaussianity性。ICA数值优化问题。步骤：1.对数据进行零均值化，使其均值为02.进行白化，得到白化矩阵z3.选择一个具有单位范数的初始化向量w4.根据不动点迭代基本公式，更新w的值函数g可以为：wzwgEzwzgEwTT)()('332211)()2/exp()()tanh()(yygyyygyayg5.每次迭代完成后对W进行标准化：6.如果尚未收敛则返回第4步经过以上的算法，可以找到一个方向，即单位向量w，使得对应的投影WTZ的非高斯性达到极大化，当非高斯性度量达到最大时，则表明已完成对各独立分量的分离。||||/1.利用下面的特性：在白化空间中，不同独立成分的对应向量wi是正交的。因此，若要估计多个独立成分，我们需要将任意一元算法运行多遍，每次迭代后将w1,w2,…,wn正交化2.渐进（串行）正交化利用Gram-Schmidt方式的正交化方法，一个接着一个的将独立成分估计出来。假定，已经估计出了p个独立成分（即w1,…wp）,那么可以估计wp+1，并在每次迭代循环后从wp+1中减去其在已经估计出的前p个向量上的投影(wTp+1wj)wj，然后再对wp+1做标准化1.选择要估计的独立成分个数m，设置p=12.初始化wp3.在wp上执行一元估计算法，进行一次迭代4.进行正交化5.对wp进行标准化6.如果wp尚未收敛，转到第3步7.置p=p+1，如果p=m，返回第2步11)(pjjjTppp对数据进行中心化，使其均值为02.进行白化，得到z3.选择要估计的独立成分个数m，设置p=14.选择一个具有单位范数的初始化向量w5.根据不动点迭代公式更新w函数g可以为：wzwgEzwzgEwTT)()('332211)()2/exp()()tanh()(yygyyygyayg6.正交化7.标准化w：8.如果尚未收敛则返回第5步9.置p=p+1，如果p=m，返回第4步||||/11)(pjjjTppp以上就是本次课程报告的内容，主要讲解了ICA算法的模型、原理、算法流程，最后再结合程序给大家演示。