Joint Entropy

定义 Definition

联合熵：信息论中用来度量两个（或多个）随机变量作为一个整体时的不确定性的量。常记为 **H(X, Y)**。它与边缘熵、条件熵、互信息等概念密切相关。（除信息论外，“entropy”在热力学中也有“熵”的含义。）

发音 Pronunciation (IPA)

/dʒɔɪnt ˈɛntrəpi/

例句 Examples

Joint entropy tells us how uncertain two variables are when considered together.
联合熵告诉我们，把两个变量放在一起考虑时有多不确定。

In information theory, the joint entropy (H(X,Y)) can be expressed as (H(X)+H(Y\mid X)), linking it directly to conditional entropy.
在信息论中，联合熵 (H(X,Y)) 可写成 (H(X)+H(Y\mid X))，因此它与条件熵直接相连。

词源 Etymology

“joint”源自拉丁语词根 jungere（连接、结合），含“共同的、连接在一起的”之意；“entropy（熵）”来自希腊语 entropia（转变、变化），最早由物理学家克劳修斯（Clausius）在热力学语境中推广。后来香农（Shannon）借用“entropy”来命名信息不确定性的度量，于是出现了“joint entropy（联合熵）”等信息论术语，用来表示多个变量合在一起时的总体不确定性。

相关词 Related Words

• Entropy
• Shannon Entropy
• Conditional Entropy
• Mutual Information
• Joint Distribution
• Marginal Entropy
• Random Variable
• Information Theory

文学与经典著作 Literary Works

• Claude E. Shannon, A Mathematical Theory of Communication（《通信的数学理论》）——信息论奠基性论文，相关概念体系中包含联合熵的定义框架。
• Thomas M. Cover & Joy A. Thomas, Elements of Information Theory（《信息论基础》）——系统讲解联合熵、条件熵、互信息及其关系式。
• David J. C. MacKay, Information Theory, Inference, and Learning Algorithms（《信息论、推断与学习算法》）——在信息论与机器学习结合的叙述中频繁使用联合熵等概念。