后验坍缩

Posterior collapse, 后验坍缩, 指的是经典VAE框架下, 如果编码器(尤其是自回归类型的解码器, 如PixelCNN, WaveNet等)非常强大, 网络有时候会"倾向"完全依赖解码器本身的能力来重构数据, 而忽略了潜变量所提供的信息. 具体表现是编码器学到的后验分布退化(如直接逼近先验分布), 这样就导致潜变量中不再携带有有用信息-也就是后验坍塌. 在传统的VAE中, KL散度项会把后验往先验挤压, 一旦解码器过于强大, 模型往往倾向于让后验坍缩, 只靠编码器本身去拟合数据, 导致潜变量的信息量几乎为0.