企业网站建设 新闻宣传唐山seo快速排名
E:Expection,期望步,利用估计的参数,来确定未知因变量的概率,并利用其来计算期望值。
M:Maximization,最大化,使用最大似然法更新参数值,使E步中期望值出现的概率最大。
例如网上较多的硬币例子,可以先估算硬币正反面参数A,但是无法获知隐变量B(无法知道某一次实验选择哪一枚硬币),因此可以分别计算每次试验选择了某一枚硬币的概率,也就是说计算了隐变量B的概率。明确了隐变量B的概率后,就可以依此概率,计算出一个期望值E。
通过更新参数A,使期望值为E的概率最大化,也就是M步中“最大化”的含义。
可以参考链接,https://zhuanlan.zhihu.com/p/78311644,这里面详细记录了硬币案例的EM迭代过程。
同样,将情况复杂化,例如现在有2位男生和2为女生,数据记录了他们的身高(但是不知道被记录着的性别),需要分别估计男女生身高分布的均值和方差,
这个时候有人就想到我们必须从某一点开始,并用迭代的办法去解决这个问题:我们先设定男生身高和女生身高分布的几个参数(初始值),然后根据这些参数去判断每一个样本(人)是男生还是女生,之后根据标注后的样本,计算出一个期望值,然后反过来重新估计参数,使期望值出现的概率最大化。之后再多次重复这个过程,直至稳定。这个算法也就是EM算法。
https://zhuanlan.zhihu.com/p/56377602