Loi de von Mises-Fisher — Wikipédia

Dans les statistiques directionnelles, la loi de von Mises-Fisher (du nom de Richard von Mises et Ronald Fisher), est une loi de probabilité sur la p–1-sphère dans ${\displaystyle \mathbb {R} ^{p}}$. Si p = 2, la loi se réduit à la loi de von Mises sur le cercle.

La fonction de densité de probabilité de la loi de von Mises-Fisher pour le vecteur unitaire aléatoire de dimension p aléatoire ${\displaystyle \mathbf {x} }$ est donnée par :

${\displaystyle f_{p}(\mathbf {x} ;{\boldsymbol {\mu }},\kappa )=C_{p}(\kappa )\exp \left({\kappa {\boldsymbol {\mu }}^{\mathsf {T}}\mathbf {x} }\right),}$

où ${\displaystyle \kappa \geq 0,\left\Vert {\boldsymbol {\mu }}\right\Vert =1}$ et la constante de normalisation ${\displaystyle C_{p}(\kappa )}$ est égale à

${\displaystyle C_{p}(\kappa )={\frac {\kappa ^{p/2-1}}{(2\pi )^{p/2}I_{p/2-1}(\kappa )}},}$

où ${\displaystyle I_{v}}$ désigne la fonction de Bessel modifiée de première espèce à l'ordre v. Si p = 3, la constante de normalisation se réduit à

${\displaystyle C_{3}(\kappa )={\frac {\kappa }{4\pi \sinh \kappa }}={\frac {\kappa }{2\pi (\mathrm {e} ^{\kappa }-\mathrm {e} ^{-\kappa })}}.}$

Les paramètres ${\displaystyle {\boldsymbol {\mu }}}$ et ${\displaystyle \kappa }$ sont appelés respectivement la direction moyenne et le paramètre de concentration. Plus la valeur de ${\displaystyle \kappa }$ est élevée, plus la masse de la loi est concentrée autour de la direction moyenne ${\displaystyle {\boldsymbol {\mu }}}$ . La distribution est unimodale pour ${\displaystyle \kappa >0}$, et est uniforme sur la sphère pour ${\displaystyle \kappa =0}$.

La loi de von Mises-Fisher pour p = 3 est aussi appelée loi de Fisher^[1],[2]. Elle a d'abord été utilisée pour modéliser l'interaction de dipôles électriques dans un champ électrique ^[3]. D'autres applications se trouvent dans la géologie, la bio-informatique et la fouille de textes.

Dans le manuel de Mardia et Jupp^[3], la constante de normalisation donnée pour la densité de probabilité de Von Mises-Fisher est apparemment différente de celle donnée ici, soit ${\displaystyle C_{p}(\kappa )}$. Dans ce livre, la constante de normalisation est spécifiée comme suit :

${\displaystyle C_{p}^{*}(\kappa )={\frac {({\frac {\kappa }{2}})^{p/2-1}}{\Gamma (p/2)I_{p/2-1}(\kappa )}}}$

L'explication vient du fait que Mardia et Jupp donnent la densité "par rapport à la loi uniforme", alors que la densité est ici spécifiée de la manière classique, par rapport à la mesure de Lebesgue. La densité (par rapport à la mesure de Lebesgue) de la loi uniforme est l'inverse de la surface de la p–1-sphère, de sorte que la fonction de densité uniforme est donnée par la constante :

${\displaystyle C_{p}(0)={\frac {\Gamma (p/2)}{2\pi ^{p/2}}}}$

Il s'ensuit alors que :

${\displaystyle C_{p}^{*}(\kappa )={\frac {C_{p}(\kappa )}{C_{p}(0)}}}$

Alors que la valeur de ${\displaystyle C_{p}(0)}$ a été dérivée ci-dessus via l'aire de la surface, le même résultat peut être obtenu en fixant ${\displaystyle \kappa =0}$ dans la formule ci-dessus pour ${\displaystyle C_{p}(\kappa )}$. Cela peut être fait en notant que le développement en série pour ${\displaystyle I_{p/2-1}(\kappa )}$ divisé par ${\displaystyle \kappa ^{p/2-1}}$ n'a qu'un terme non nul en ${\displaystyle \kappa =0}$. (Pour évaluer ce terme, il faut utiliser la convention ${\displaystyle 0^{0}=1}$).

À partir d'une loi normale de covariance isotrope ${\displaystyle \kappa ^{-1}\mathbf {I} }$ et de moyenne ${\displaystyle {\boldsymbol {\mu }}}$ de longueur ${\displaystyle r>0}$, dont la fonction de densité est :

${\displaystyle G_{p}(\mathbf {x} ;{\boldsymbol {\mu }},\kappa )=\left({\sqrt {\frac {\kappa }{2\pi }}}\right)^{p}\exp \left(-\kappa {\frac {\|\mathbf {x} -{\boldsymbol {\mu }}\|^{2}}{2}}\right),}$

la loi de von Mises-Fisher est obtenue en imposant ${\displaystyle \left\|\mathbf {x} \right\|=1}$ . En développant

${\displaystyle \|\mathbf {x} -{\boldsymbol {\mu }}\|^{2}=\|\mathbf {x} \|^{2}+\|{\boldsymbol {\mu }}\|^{2}-2{\boldsymbol {\mu }}^{\mathsf {T}}\mathbf {x} ,}$

et en utilisant le fait que les deux premiers termes de droite sont fixes, la densité de von Mises-Fisher, ${\displaystyle f_{p}(\mathbf {x} ;r^{-1}{\boldsymbol {\mu }},r\kappa )}$ est récupéré en recalculant la constante de normalisation en intégrant ${\displaystyle \mathbf {x} }$ sur la sphère unité. Si ${\displaystyle r=0}$, on obtient la distribution uniforme, de densité ${\displaystyle f_{p}(\mathbf {x} ;{\boldsymbol {0}},0)}$ .

Plus succinctement, la restriction de toute densité normale multivariée isotrope à l'hypersphère unitaire, donne une densité de Von Mises-Fisher, à normalisation près.

Cette construction peut être généralisée en partant d'une distribution normale avec une matrice de covariance générale, auquel cas en conditionnant sur ${\displaystyle \left\|\mathbf {x} \right\|=1}$ donne la distribution de Fisher-Bingham.

Une série de N vecteurs unitaires indépendants ${\displaystyle x_{i}}$ sont tirées selon une loi de von Mises-Fisher. L'estimation du maximum de vraisemblance de la direction moyenne ${\displaystyle \mu }$ est simplement la moyenne arithmétique normalisée, une statistique suffisante^[3]:

${\displaystyle \mu ={\frac {\bar {x}}{\bar {R}}},{\text{ avec }}{\bar {x}}={\frac {1}{N}}\sum _{i}^{N}x_{i}{\text{ et }}{\bar {R}}=\|{\bar {x}}\|,}$

En utilisant la fonction de Bessel du premier type pour définir

${\displaystyle A_{p}(\kappa )={\frac {I_{p/2}(\kappa )}{I_{p/2-1}(\kappa )}}.}$

Alors :

${\displaystyle \kappa =A_{p}^{-1}({\bar {R}}).}$

Ainsi ${\displaystyle \kappa }$ est la solution à

${\displaystyle A_{p}(\kappa )={\frac {1}{N}}\left\|\sum _{i=1}^{N}x_{i}\right\|={\bar {R}}.}$

Une simple approximation de ${\displaystyle \kappa }$ est (Sra, 2011)

${\displaystyle {\hat {\kappa }}={\frac {{\bar {R}}(p-{\bar {R}}^{2})}{1-{\bar {R}}^{2}}},}$

Une inversion plus précise peut être obtenue en itérant plusieurs fois la méthode de Newton

${\displaystyle {\hat {\kappa }}_{1}={\hat {\kappa }}-{\frac {A_{p}({\hat {\kappa }})-{\bar {R}}}{1-A_{p}({\hat {\kappa }})^{2}-{\frac {p-1}{\hat {\kappa }}}A_{p}({\hat {\kappa }})}},}$

${\displaystyle {\hat {\kappa }}_{2}={\hat {\kappa }}_{1}-{\frac {A_{p}({\hat {\kappa }}_{1})-{\bar {R}}}{1-A_{p}({\hat {\kappa }}_{1})^{2}-{\frac {p-1}{{\hat {\kappa }}_{1}}}A_{p}({\hat {\kappa }}_{1})}}.}$

Pour N ≥ 25, l'erreur type sphérique estimée de la direction moyenne de l'échantillon peut être calculée comme suit ^[4]:

${\displaystyle {\hat {\sigma }}=\left({\frac {d}{N{\bar {R}}^{2}}}\right)^{1/2}}$

où

${\displaystyle d=1-{\frac {1}{N}}\sum _{i}^{N}\left(\mu ^{\mathsf {T}}x_{i}\right)^{2}}$

Il est alors possible d'approximer un intervalle de confiance sphérique à ${\displaystyle 100(1-\alpha )\%}$ (soit un cône de confiance) sur ${\displaystyle \mu }$ avec angle semi-vertical :

${\displaystyle q=\arcsin \left({\hat {\sigma }}e_{\alpha }\right)\,{\textrm {avec}}e_{\alpha }={\sqrt {-\ln(\alpha )}}.}$

Par exemple, pour un cône de confiance à 95 %, ${\displaystyle \alpha =0,05,e_{\alpha }=-\ln(0,05)\approx 2,996,}$ Et ainsi ${\displaystyle q=\arcsin(1,731{\hat {\sigma }}).}$

L'espérance de la loi de Von Mises-Fisher n'est pas sur l'hypersphère unitaire, mais a plutôt une longueur inférieure à un. Cette longueur est donnée par la constante ${\displaystyle A_{p}(\kappa )}$ définie supra. Pour une loi de Von Mises-Fisher de direction moyenne ${\displaystyle {\boldsymbol {\mu }}}$ et de concentration ${\displaystyle \kappa >0}$, l'espérance est :

${\displaystyle A_{p}(\kappa ){\boldsymbol {\mu }}}$ .

Pour ${\displaystyle \kappa =0}$, l'espérance est à l'origine. Pour ${\displaystyle \kappa >0}$ fini, la longueur de l'espérance, est strictement comprise entre zéro et 1 et est une fonction croissante monotone de ${\displaystyle \kappa }$.

La moyenne empirique (arithmétique) d'une collection de points sur l'hypersphère unité se comporte de manière similaire, étant proche de l'origine pour les données largement répandues et proches de la sphère pour les données concentrées. En effet, pour la loi de Von Mises-Fisher, l'espérance de l'estimateur du maximum de vraisemblance basée sur un ensemble de points est égale à la moyenne empirique de ces points.

L'espérance peut être utilisée pour calculer l'entropie différentielle et la divergence de Kullback-Leibler.

L'entropie différentielle de ${\displaystyle f_{p}(\mathbf {x} ;{\boldsymbol {\mu }},\kappa )}$ est:

${\displaystyle -\log f_{p}(A_{p}(\kappa ){\boldsymbol {\mu }};{\boldsymbol {\mu }},\kappa )=-\log C_{p}(\kappa )-\kappa A_{p}(\kappa )}$ .

Il faut noter que l'entropie est une fonction de ${\displaystyle \kappa }$ seulement.

La divergence KL entre ${\displaystyle f_{p}(\mathbf {x} ;{\boldsymbol {\mu _{0}}},\kappa _{0})}$ et ${\displaystyle f_{p}(\mathbf {x} ;{\boldsymbol {\mu _{1}}},\kappa _{1})}$ est :

${\displaystyle \log {\frac {f_{p}(A_{p}(\kappa _{0}){\boldsymbol {\mu _{0}}};{\boldsymbol {\mu _{0}}},\kappa _{0})}{f_{p}(A_{p}(\kappa _{0}){\boldsymbol {\mu _{0}}};{\boldsymbol {\mu _{1}}},\kappa _{1})}}}$

Les lois de Von Mises-Fisher (VMF) sont fermées sous les transformées linéaires orthogonales. Soit ${\displaystyle \mathbf {U} }$ une matrice orthogonale carrée. On suppose ${\displaystyle \mathbf {x} \sim {\text{VMF}}({\boldsymbol {\mu }},\kappa )}$ et on applique la transformation linéaire inversible : ${\displaystyle \mathbf {y} =\mathbf {Ux} }$ . La transformée inverse est ${\displaystyle \mathbf {x} =\mathbf {U} ^{\mathsf {T}}\mathbf {y} }$, car l'inverse d'une matrice orthogonale est sa transposée : ${\displaystyle \mathbf {U} ^{-1}=\mathbf {U} ^{\mathsf {T}}}$ . Le jacobien de la transformation est ${\displaystyle \mathbf {U} }$, pour lequel la valeur absolue de son déterminant est 1, également à cause de l'orthogonalité. En utilisant ces faits et la forme de la densité VMF, il s'ensuit que :

${\displaystyle \mathbf {y} \sim {\text{VMF}}(\mathbf {U} {\boldsymbol {\mu }},\kappa ).}$

On peut vérifier que puisque ${\displaystyle {\boldsymbol {\mu }}}$ et ${\displaystyle \mathbf {x} }$ sont des vecteurs unitaires, puis par l'orthogonalité, ${\displaystyle \mathbf {U} {\boldsymbol {\mu }}}$ et ${\displaystyle \mathbf {y} }$ le sont également.

La loi matricielle de von Mises-Fisher (également connue sous le nom de loi matricielle de Langevin ^[5],[6] ) a la densité

${\displaystyle f_{n,p}(\mathbf {X} ;\mathbf {F} )\propto \exp(\operatorname {tr} (\mathbf {F} ^{\mathsf {T}}\mathbf {X} ))}$

définie sur la variété de Stiefel de ${\displaystyle n\times p}$ p-cadres orthonormés ${\displaystyle \mathbf {X} }$, où ${\displaystyle \mathbf {F} }$ est une matrice réelle ${\displaystyle n\times p}$ ^[7],[8].

Pour ${\displaystyle p=3}$, l'angle θ entre ${\displaystyle \mathbf {x} }$ et ${\displaystyle {\boldsymbol {\mu }}}$ vérifie ${\displaystyle \cos \theta ={\boldsymbol {\mu }}^{\mathsf {T}}\mathbf {x} }$ . Il a la répartition

${\displaystyle p(\theta )=\int \mathrm {d} ^{2}xf(x;{\boldsymbol {\mu }},\kappa )\,\delta \left(\theta -{\text{arc cos}}({\boldsymbol {\mu }}^{\mathsf {T}}\mathbf {x} )\right)}$ ,

qui peut être facilement évalué comme

${\displaystyle p(\theta )=2\pi C_{3}(\kappa )\,\sin \theta \,\mathrm {e} ^{\kappa \cos \theta }}$ .

• Loi de Kent, une distribution connexe sur la sphère unitaire bidimensionnelle
• Loi de von Mises, la loi de von Mises–Fisher où p = 2, le cercle unitaire unidimensionnel
• Loi de von Mises bivariée
• Statistiques directionnelles

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Von_Mises–Fisher distribution » (voir la liste des auteurs).

• (en) I. Dhillon et S. Sra, Modeling Data using Directional Distributions, University of Texas, Austin, Tech. rep., 2003.
• (en) A. Banerjee, I.S. Dhillon, J. Ghosh , J. et S. Sra, « Clustering on the unit hypersphere using von Mises-Fisher distributions », Journal of Machine Learning Research, vol. 6,‎ 2005, p. 1345-1382.
• S. Sra, « A short note on parameter approximation for von Mises-Fisher distributions: And a fast implementation of I_s(x) », Computational Statistics, vol. 27,‎ 2011, p. 177–190 (DOI 10.1007/s00180-011-0232-x, S2CID 3654195, CiteSeer^x 10.1.1.186.1887)

• Portail des probabilités et de la statistique