09 基本采样方法

机器学习第九讲张兆翔课程回顾K均值聚类两步走策略第一步：初始化，按照最优化准则产生第二步：根据产生的，按照最优准则产生第三步：根据产生的，按照最优准则产生迭代Expectation迭代Maximization混合高斯模型的最大似然估计给定，估计混合高斯模型参数奇异问题；而且解不唯一K!EM算法求解混合高斯问题对求导属于第K个高斯的概率第K个高斯所包含的样本数EM算法求解混合高斯问题对求导对求导必须考虑一个约束条件EM算法求解混合高斯问题EM算法求解混合高斯问题EM算法求解混合高斯问题采样方法问题描述一个随机变量预测一个关于的函数的值首先根据独立地产生一系列采样点对于采样点，轻易地产生采样问题1. 原始采样法(Ancestral Sampling)有向图模型在概率图模型中，较易获得按照公式的顺序，产生如果吻合，保留如果矛盾，抛弃不实用！如果是无向图呢？更不实用！如果是边缘分布？2.基本采样法(Basic Sampling) 思想：从基本概率分布产生新变量的分布Uniform distribution:Gaussian distribution:2.基本采样法(Basic Sampling)例子：例子：2.基本采样法(Basic Sampling)怎么推导高斯函数的采样？不能普适求解3.拒绝采样(Reject Sampling)假设：对一个很复杂的进行采样。不能给出具体的解析形式，但是每个可以估算其比例。已知未知用去逼近3.拒绝采样(Reject Sampling)1. 从产生2. 从均匀分布中产生3.                        拒绝；否则接收作为采样被拒绝的概率3.自适应拒绝采样(Adaptive Reject Sampling)在实际场合中，很难获得。特别是为log凸函数时，可采用ARS如果满足，接收如果拒绝，重新逼近4.重要性采样(Importance Sampling)假设：很复杂，但可以估算每个z的值现在要估计将z空间网格化，然后按如下方式进行计算维数灾难4.重要性采样(Importance Sampling)同样借助于一个易于采样的注：很多情况下不能够准确知道，而只能知道比例4.重要性采样(Importance Sampling)注：很多情况下不能够准确知道，而只能知道比例4.重要性采样(Importance Sampling)4.重要性重采样(Sampling‐Importance‐Resampling)回顾拒绝采样第一步、根据产生第二步、根据产生最后，从中按照的概率产生新的L个样本4.重要性重采样(Sampling‐Importance‐Resampling)