狄利克雷过程()是目前变参数学习(non )非常流行的一个理论 。
随机过程可以看做一个可数无穷多的随机向量的集合(is anof,where the index set can be in?nite)
由两个参数(/alpha,基本分布H)定义,生成无限数量的随机变量,
这些随机变量的联合分布是 (有限维)在无限维上的推广,同dir和beta分布一样,可以用作无限维的共轭先验
(注意,虽然 和无限维理论上是“无限维”,但是在有限个可见训练/测试样本中,其表现为有限维,
也就是说,我们不必预先指定类别数量K,而是,当新类别的样本出现时,将自动被打上新标签,这是non 的基础
另有一种算法叫model,也能从样本中推断出类别数,但是这模型的类别数有一个预设上界K,而DPMM(model)的类别数没有上界)
1.的定义
假设存在在度量空间\Theta上的分布H,和一个参数\alpha,
G是在度量空间\Theta上的一个分布(意思是对任意theta的子集A,G(A)是一个函数,使得0
如果对于度量空间\Theta的任意一个可数划分(可以是有限或者无限的)T1, T2,...,Tn,都有下列式子成立:
这里Dir是 分布,我们称G是满足 的 。H也成为base。
举个简单的例子,
在CRP中,Ti可以看成是第i张桌子,G(Ti)就是第i张桌子的概率
(G(1),G(2),...,G(K))~(alpha/K,alpha/K,....alpha/K),
在K趋于无穷大时候的情况
以下为DP的性质 。
![1 Dirichlet Process-非参数贝叶斯](http://img.gansulong.com/230622/0445422H8-0.jpg)
文章插图
这个定义是1973年最早提出的,比较晦涩 。有三种构造性方法:Polya urm model,,Stick-
基本的构造是这样:
![1 Dirichlet Process-非参数贝叶斯](http://img.gansulong.com/230622/0445424025-1.jpg)
文章插图
![1 Dirichlet Process-非参数贝叶斯](http://img.gansulong.com/230622/0445426410-2.jpg)
文章插图
2. Polya urm model
假设存在可数无限多种颜色的球,一个空的urn
1. 第一次,按照H分布选定一个颜色,取出对应颜色的球放入urn中
2. 后续,有两种选球法,按其中之一选定一个颜色,取出对应颜色的一个球放入urn中
i)按均匀分布从urn中取出一个球,按该球的颜色取
ii)按H分布选定一个颜色
则有
也就是
其中Xi表示第i个摸出来的球的颜色;
在中,Xi表示第i个客人选中的桌子,
可以看出,polya urn model和都满足性质,因此可以表示为上面的(1)式 。
此时随机元素G就是。
(但是我不知道(6)和(4)如何等价???在~lisa//31-10-2006.pdf看到一个解释是在K->无穷时,
![1 Dirichlet Process-非参数贝叶斯](http://img.gansulong.com/230622/04454222Z-3.jpg)
文章插图
3.Stick-
![1 Dirichlet Process-非参数贝叶斯](http://img.gansulong.com/230622/0445422T5-4.jpg)
文章插图
可以看出,G的生成方法是,先按照H分布抽取出无限样本点,然后/pai_k重新赋权 。这是一个取值无限的离散分布(取值点数量是可数无穷,而如果H是实数上的分布,取值点数量是阿列夫1哦),每次抽取,可以抽取出不同的/beta,H,生成不同的G 。
可以证明G是。
(stick-break 来源是/pai数列,这有点象每次从长度为1 的木棍上折下一定的长度,E(/beta)=1/(1+/alpha),当/alpha较小,则开始几个木棍会很长,也就是说,如果用它作为聚类的prior,将会倾向于分成更少更大的类)
Stick- 和之前CRP和urn的关系是
theor the Polya Urn Modelstop. For each group i , this gives awi ofthat fall into group i .Soofthe CRP or Polya Urn model toout these , can wethem ?This iswhat the Stick-does 。
Thus, the Stick-isthe CRP or Polya Urn Model from apoint of view. For ,to table 1to theistoto table 1 withw1 .
- 王昭君远嫁匈奴并非悲剧而是过着幸福生活?
- 北非战场为什么不受德国重视难道德国不需要石油吗
- 努尔哈赤讨明檄文中的一个闹剧,让人啼笑皆非
- 强悍的秦军并非世界第一大汉却成世界一流
- 非洲冰草是什么,怎么保存
- 史海拾遗:历史上馒头或非诸葛亮发明创造
- 长平之战赵括既代廉颇并非纸上谈兵
- 解密三国第一鬼才是谁?非郭嘉莫属
- 水浒探秘:高俅飞黄腾达并非是接苏轼之力?
- 田穰苴是个怎样的人田穰苴有什么功过是非