[关闭]
@a335031 2014-11-03T11:48:40.000000Z 字数 596 阅读 3135

关于相对熵(KL距离)的理解

信息论


定义:两个概率质量函数为p(x)q(x)之间的相对熵或KL距离定义为

D(p||q)=xχp(x)logp(x)q(x)

理解

如果已知随机变量的真实分布为p,可以构造平均描述长度为H(p)的码,但是,如果使用针对分布q的编码,那么平均意义上就需要xχp(x)log1q(x)(记作H(p||q))比特来描述这个随机变量。那么可以这样定义D(p||h)

D(p||q)=H(p||q)H(p)=xχp(x)log1q(x)p(x)log1p(x)=xχp(x)logp(x)q(x)

总结就是,使用由q构造的编码将会在平均意义上比最优编码(由真实分布p构造的编码)长D(p||q)比特。

添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注