独立的(H(X),H(Y)), 联合的(H(X,Y)), 以及一对带有互信息 I(X; Y) 的相互关联的子系统 X,Y 的条件熵。 联合熵是一集变量之间不确定性的衡量手段。
两个变量
和
的联合信息熵定义为:
![{\displaystyle \mathrm {H} (X,Y)=-\sum _{x}\sum _{y}P(x,y)\log _{2}[P(x,y)]\!}](https://wikimedia.org/api/rest_v1/media/math/render/svg/220447cf946a5f6ebec1b070262ac46cbd51f20f)
其中
和
是
和
的特定值, 相应地,
是这些值一起出现的联合概率, 若
为0,则
定义为0。
对于两个以上的变量
,该式的一般形式为:
![{\displaystyle \mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]\!}](https://wikimedia.org/api/rest_v1/media/math/render/svg/bd53689842055d4ff858acc7bbc5a53a227edbee)
其中
是
的特定值,相应地,
是这些变量同时出现的概率,若
为0,则
被定义为0.
一集变量的联合熵大于或等于这集变量中任一个的独立熵。
![{\displaystyle \mathrm {H} (X,Y)\geq \max[\mathrm {H} (X),\mathrm {H} (Y)]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9f31fc48a1999ae5e59551e3fec9b91f9932fba1)
![{\displaystyle \mathrm {H} (X_{1},...,X_{n})\geq \max[H(X_{1}),...,H(X_{n})]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/223015d92c0fe6279c2434caa2bc60fe40a65868)
一集变量的联合熵少于或等于这集变量的独立熵之和。这是次可加性的一个例子。该不等式有且只有在
和
均为统计独立的时候相等。
![{\displaystyle \mathrm {H} (X,Y)\leq \mathrm {H} (X)+\mathrm {H} (Y)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5fe8f152e001507cbf5e7db0788de9dd0d5deca8)
![{\displaystyle \mathrm {H} (X_{1},...,X_{n})\leq \mathrm {H} (X_{1})+...+\mathrm {H} (X_{n})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0c3665bdd90ddb6a26839c68a4df7a8b9150f1eb)
在条件熵的定义中,使用了联合熵
![{\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X,Y)-\mathrm {H} (Y)\,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/77b475bb29f73a082aefe88584038c66bbd415cc)
互信息的定义中也出现了联合熵的身影:
![{\displaystyle I(X;Y)=\mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d349496c42c88e4fd578f77858b0e65d2c3a80dc)
在量子信息理论中, 联合熵被扩展到联合量子熵。