自己相互情報量

自己相互情報量（じこそうごじょうほうりょう、英語: pointwise mutual information、略称: PMI）は、統計学、確率論、情報理論における関連性の尺度である^[1]。全ての可能な事象の平均を取る相互情報量（mutual information、MI）とは対照的に、単一の事象を指す。

離散確率変数${\displaystyle X,Y}$ に属する結果 ${\displaystyle x,y}$ の組の自己相互情報量は、独立性の仮定の下で、それらの同時分布と個々の分布が与えられたときの同時確率の不一致を定量化したものである。数学的には下記の式として表される。

${\displaystyle \operatorname {pmi} (x;y)\equiv \log {\frac {p(x,y)}{p(x)\,p(y)}}=\log {\frac {p(x\mid y)}{p(x)}}=\log {\frac {p(y\mid x)}{p(y)}}}$

多確率変数の結果の組 ${\displaystyle y_{1},y_{2},\dots ,y_{q}}$ の自己相互情報量は、次に与えられる。

${\displaystyle \operatorname {PMI} \left(y_{1},y_{2},\ldots ,y_{q}\right)=\log {\frac {p\left(y_{1},y_{2},\ldots ,y_{q}\right)}{p\left(y_{1}\right)p\left(y_{2}\right)\ldots p\left(y_{q}\right)}}=\log p({\boldsymbol {y}})-\log \prod _{j=1}^{q}p(y_{j})}$

確率変数 ${\displaystyle X_{1},X_{2},\dots ,X_{q}}$ の相互情報量は、自己相互情報量の期待値である。

${\displaystyle {\begin{aligned}I({\boldsymbol {X}})&{}=D_{\mathrm {KL} }\left(P_{\boldsymbol {X}}{\|}\bigotimes _{X\in {\boldsymbol {X}}}P_{X}\right)\\&{}=\int p({\boldsymbol {x}})\log {\frac {p({\boldsymbol {x}})}{\prod _{i}p(x_{i})}}\mathrm {d} {\boldsymbol {x}}\\&{}=\int p({\boldsymbol {x}})\left(\log p({\boldsymbol {x}})-\log \prod _{i}p(x_{i})\right)\mathrm {d} {\boldsymbol {x}}\\&{}=\mathbb {E} _{p\left({\boldsymbol {x}}\right)}\left[\log {p({\boldsymbol {x}})}-\log {\prod _{i}p(x_{i})}\right]\\&{}=\mathbb {E} _{p\left({\boldsymbol {x}}\right)}\left[\operatorname {PMI} \left(p\left({\boldsymbol {x}}\right)\right)\right]\end{aligned}}}$

対称性がある。

${\displaystyle \operatorname {pmi} (x;y)=\operatorname {pmi} (y;x)}$

正負の値を取りうるが、${\displaystyle X,Y}$ が独立している場合はゼロである。 PMI が負であっても正であっても、すべての共同イベントに対する期待値である相互情報量は正である。${\displaystyle X,Y}$ が完全に関連している場合、すなわち、${\displaystyle p(x\mid y)=1}$ または ${\displaystyle p(y\mid x)=1}$ のとき、次のような境界が得られる。

${\displaystyle -\infty \leq \operatorname {pmi} (x;y)\leq \min \left\{-\log p(x),-\log p(y)\right\}}$

なお、${\displaystyle p(x\mid y)}$ が一定で ${\displaystyle p(x)}$ が減少するなら、${\displaystyle \operatorname {pmi} (x;y)}$ は増加する。

次の例を考える。

${\displaystyle x}$	${\displaystyle y}$	${\displaystyle p(x,y)}$
0	0	0.1
0	1	0.7
1	0	0.15
1	1	0.05

この表を周辺化して、個々の分布について次のような表が得られる。

	${\displaystyle p(x)}$	${\displaystyle p(y)}$
0	0.8	0.25
1	0.2	0.75

2を底とする対数用いると、${\displaystyle \operatorname {pmi} (x;y)}$ を次のように計算できる。

${\displaystyle {\begin{aligned}\operatorname {pmi} (x=0;y=0)&=-1\\\operatorname {pmi} (x=0;y=1)&=0.222392\\\operatorname {pmi} (x=1;y=0)&=1.584963\\\operatorname {pmi} (x=1;y=1)&=-1.584963\end{aligned}}}$

なおこのとき、相互情報量 ${\displaystyle \operatorname {I} (X;Y)=0.2141709}$ と計算できる。

自己相互情報量は、相互情報量と同様の性質がある。

${\displaystyle {\begin{aligned}\operatorname {pmi} (x;y)&=h(x)+h(y)-h(x,y)\\&=h(x)-h(x\mid y)\\&=h(y)-h(y\mid x)\end{aligned}}}$

ここで、自己情報量 ${\displaystyle h(x)=-\log _{2}p(X=x)}$ である。

自己相互情報量は、区間 ${\displaystyle [-1,1]}$ で正規化できる。決して共起しない場合は−1、独立の場合は0、完全に共起する場合は+1が得られる^[2]。

${\displaystyle \operatorname {npmi} (x;y)={\frac {\operatorname {pmi} (x;y)}{h(x,y)}}}$

ここで、${\displaystyle h(x,y)}$は共同自己情報であり、次のように推定できる。

${\displaystyle -\log _{2}p(X=x,Y=y)}$

上記のNormalized PMI以外にも多くの亜種がある^[3]。

相互情報量と同様、自己相互情報量は連鎖律に従う^[4]。

${\displaystyle \operatorname {pmi} (x;\,y,z)=\operatorname {pmi} (x;\,y)+\operatorname {pmi} (x;\,z\mid y)}$

これは次のように証明できる。

${\displaystyle {\begin{aligned}\operatorname {pmi} (x;y)+\operatorname {pmi} (x;z\mid y)&=\log {\frac {p(x,y)}{p(x)\,p(y)}}+\log {\frac {p(x,z\mid y)}{p(x\mid y)\,p(z\mid y)}}\\&{}=\log \left[{\frac {p(x,y)}{p(x)\,p(y)}}{\frac {p(x,z\mid y)}{p(x\mid y)\,p(z\mid y)}}\right]\\&{}=\log {\frac {p(x\mid y)\,p(y)\,p(x,z\mid y)}{p(x)\,p(y)\,p(x\mid y)\,p(z\mid y)}}\\&{}=\log {\frac {p(y)\,p(x,z\mid y)}{p(x)\,p(y)\,p(z\mid y)}}\\&{}=\log {\frac {p(x,y,z)}{p(x)\,p(y,z)}}\\&{}=\operatorname {pmi} (x;yz)\end{aligned}}}$

自己相互情報量は、情報理論、言語学、化学（化合物のプロファイリングと分析など）など、さまざまな分野で利用できる^[5]。計算言語学では、自己相互情報量は単語間のコロケーションや関連正を見つけるために使用されてきた。たとえば、テキストコーパス内の単語の出現と共起をカウントして、その確率 ${\displaystyle p(x)}$ および ${\displaystyle p(x,y)}$ を近似的に求めることができる。次の表は、ウィキペディアの上位5000万語（2015年10月時点）のうち、共起回数が1000回以上でフィルタリングした上で、PMIスコアが最も高い単語と最も低い単語のカウントを示したものである。各カウントの頻度は、その値を50,000,952で割ることで得られる（注：基底 2 ではなく、自然対数を使用して自己相互情報量を計算した）。

良好なコロケーションのペアは、共起確率が各単語の出現確率よりもわずかに低い程度であり、PMIは高い。逆に、出現確率が共起確率よりもかなり高い単語のペアは、PMIが低い。

• Fano, R M (1961). “chapter 2”. Transmission of Information: A Statistical Theory of Communications. MIT Press, Cambridge, MA. ISBN 978-0262561693. https://archive.org/details/TransmissionOfInformationAStatisticalTheoryOfCommunicationRobertFano 

• Demo at Rensselaer MSR Server (PMI values normalized to be between 0 and 1)