Variational Inference

定义 Definition

变分推断：一种用于贝叶斯统计与概率模型的近似推断方法。它把“求后验分布”转化为“在一族可计算的分布中寻找最接近真实后验的分布”的优化问题（常通过最大化 ELBO/最小化 KL 散度来实现）。常用于大规模数据、复杂模型（如主题模型、深度生成模型）中。（该术语也常简称为 VI。）

发音 Pronunciation (IPA)

/ˌvɛəriˈeɪʃənəl ˈɪnfərəns/

例句 Examples

Variational inference helps us approximate the posterior when exact inference is too slow.
当精确推断太慢时，变分推断可以帮助我们近似后验分布。

In large-scale Bayesian models, variational inference converts probabilistic inference into an optimization problem, enabling efficient learning with stochastic gradients.
在大规模贝叶斯模型中，变分推断把概率推断转化为优化问题，从而可以用随机梯度高效地进行学习。

词源 Etymology

variational 来自 variation（变化、变分），在数学与物理中常指“通过改变函数来寻找极值”的方法（变分法）；inference 意为“推断”。合起来，variational inference 指用“变分/优化”的思想来做概率推断：用一个可处理的分布去逼近难以直接计算的后验分布。

相关词 Related Words

• Bayesian
• Posterior
• Prior
• Inference
• Approximation
• Optimization
• ELBO
• KL Divergence
• Mean-Field
• Markov Chain Monte Carlo

文献与作品中的用例 Literary / Notable Works

• C. M. Bishop — Pattern Recognition and Machine Learning（《模式识别与机器学习》）中系统介绍了变分方法与近似推断的核心思想。
• D. M. Blei, A. Kucukelbir, J. D. McAuliffe — “Variational Inference: A Review for Statisticians”（变分推断综述论文）直接以该术语为主题。
• M. I. Jordan et al. — “An Introduction to Variational Methods for Graphical Models”（图模型中的变分方法导论）是该术语在机器学习经典文献中的代表性出现。
• D. P. Kingma, M. Welling — “Auto-Encoding Variational Bayes”（变分自编码框架）使变分推断在深度生成模型中广泛流行。