受限玻尔兹曼机RBM

受限玻尔兹曼机陈文根2016-6-12河南工业大学目录•一．玻尔兹曼机（BM）–Ising模型–能量函数•二．受限玻尔兹曼机（RBM）–结构玻尔兹曼机（BM）•Ising模型Ising模型是统计物理中迄今为止唯一的一个同时具备:表述简单、内涵丰富、应用广泛这三种优点的模型。Ising模型最早的提出者是WilhelmLenz(1920)。后来，他让他的学生ErnstIsing对一维的Ising模型进行求解，但是并没有发现相变现象，因此也没有得到更多物理学家的关注。随后，著名的统计物理学家LarsOnsager于1944年对二维的Ising模型进行了解析求解，并同时发现了二维Ising模型中的相变现象，从而引起了更多学者的注意.玻尔兹曼机•模型表述考虑一个如左图所示的晶格世界。假设第个i节点是一个小磁针，每个小磁针有上下两种状态，我们用si来表示这个状态，并且si={1,-1}。表示磁针朝上或者朝下。网格上相邻的两个小磁针可以发生相互作用。iii玻尔兹曼机•能量函数我们可以通过总能量的概念来刻画这种相互作用：即如果两个相邻方格的小磁针状态一致（例如都是朝上），则系统的总能量减1单位，否则如果不同就加1单位。外界还可能存在磁场，如果小磁针方向与外场方向一致，则能量也会降低。我们定义总能量：其中J为一个能量耦合常数，E{si}表示系统处于状态组合{si}下的总能量。求和下标表示对所有相邻的两个小磁针进行求和。我们看到，如果si=sj，则总能量就会减少J。H表示外界磁场的强度,它是一个参数，如果外界磁场向上H为正，否则为负。如果某个小磁针的方向与外场一致，则总能量减少一个单位。sseNiijijissHssJEi,玻尔兹曼机•玻尔兹曼机简介BM的原理起源于统计物理学，是一种基于能量函数的建模方法，能够描述变量之间的高阶相互作用，BM的学习算法较复杂，但所建模型和学习算法有比较完备的物理解释和严格的数理统计理论作基础。BM是一种对称耦合的随机反馈型二值单元神经网络，由可见层和多个隐层组成，网络节点分为可见单元(visibleunit)和隐单元(hiddenunit)，用可见单元和隐单元来表达随机网络与随机环境的学习模型，通过权值表达单元之间的相关性。玻尔兹曼机•玻尔兹曼机简介（续）BM是由Hinton和Sejnowski提出的一种随机递归神经网络，可以看做是一种随机生成的Hopfield网络，是能够通过学习数据的固有内在表示解决困难学习问题的最早的人工神经网络之一，因样本分布遵循玻尔兹曼分布而命名为BM。BM由二值神经元构成，每个神经元只取1或0这两种状态，状态1代表该神经元处于接通状态，状态0代表该神经元处于断开状态。玻尔兹曼机•结构能量函数定义为：根据规则，如果与神经元i相邻的所有神经元都激活，并且它们的连接权重为正的话，那么该神经元就有可能被激活。这就相当于最小化一个全局的能量函数。受限玻尔兹曼机（RBM）•简介Smolensky提出的RBM由一个可见神经元层和一个隐神经元层组成，由于隐层神经元之间没有相互连接并且隐层神经元独立于给定的训练样本，这使直接计算依赖数据的期望值变得容易，可见层神经元之间也没有相互连接，通过从训练样本得到的隐层神经元状态上执行马尔可夫链抽样过程，来估计独立于数据的期望值，并行交替更新所有可见层神经元和隐层神经元的值。受限玻尔兹曼机•结构RBM网络结构有m个可视节点和n个隐藏节点受限玻尔兹曼机•结构（续）RBM网络有几个参数，一个是可视层与隐藏层之间的权重矩阵Wn×m，一个是可视节点的偏移量b=(b1,b2⋯bn)，一个是隐藏节点的偏移量c=(c1,c2⋯cm)，这几个参数决定了RBM网络将一个n维的样本编码成一个什么样的m维的样本。首先为了描述容易，先假设每个节点取值都在集合{0,1}中，即∀i,j,vi∈{0,1}，ℎj∈{0,1}。一个训练样本x过来了取值为x=(x1,x2⋯xn)，根据RBM网络，可以得到这个样本的m维的编码后的样本y=(y1,y2⋯ym)，这m维的编码也可以认为是抽取了m个特征的样本。受限玻尔兹曼机•结构（续）隐藏节点的第j个特征的取值为1的概率为其中的v取值就是x，hj的取值就是yj。且，)()1(1jinijijcvwvhp受限玻尔兹曼机•结构（续）生成yj的过程就是：1.先利用公式根据x的值计算概率p(hj=1|v)，其中vi的取值就是xi的值。2.然后产生一个0到1之间的随机数，如果它小于p(hj=1|v)，yj的取值就是1，否则就是0。反过来，现在知道了一个编码后的样本y，想要知道原来的样本x，即解码过程，跟上面也是同理，过程如下：1.先利用公式根据y的值计算概率p(hj=1|v)，其中hj的取值就是yj的值。2.然后产生一个0到1之间的随机数，如果它小于p(vi=1|h)，hi的取值就是1，否则就是0。)()1(1jinijijcvwvhp)()1(1ijmjjiibhwhvp受限玻尔兹曼机•RBM的基本模型RBM也可以被视为一个无向图模型。v为可见层，用于表示观测数据，h为隐层，可视为一些特征提取器，W为两层之间的连接权重。对于一组给定的状态(v;h)，RBM作为一个系统所具备的能量定义为受限玻尔兹曼机当参数确定时，基于该能量函数，我们可以得到(v;h)的联合概率分布：对于一个实际问题，我们最关心的是由RBM所定义的关于观测数据v的分布，即联合概率分布的边际分布，也称为似然函数：受限玻尔兹曼机由RBM的特殊结构(即层间有连接，层内无连接）可知：当给定可见单元的状态时，各隐单元的激活状态之间是条件独立的。此时，第j个隐单元的激活概率为RBM的结构是对称的，当给定隐单元的状态时，各可见单元的激活状态之间也是条件独立的，即第i个可见单元的激活概率为