KL散度

数学 · 两个分布有多不像

术语解释

KL散度 (Kullback-Leibler Divergence) 衡量用一个分布q去近似真实分布p时损失多少信息。KL=0说明两个分布完全一样，KL越大越不像。注意KL散度不是距离：不对称（KL(p||q)≠KL(q||p)），不满足三角不等式。信息论里叫相对熵。

怎么理解

KL散度=分布差异度量，不对称，不是距离

在交互版里浏览「数学」的全部词条 →