Multipler Korrelationskoeffizient – Wikipedia

Der multiple Korrelationskoeffizient ist in der multivariaten Statistik ein Korrelationskoeffizient, welcher die lineare Abhängigkeit zwischen einer Zufallsvariable und einer Menge anderer Zufallsvariablen misst. Konkret bedeutet das für einen Zufallsvektor ${\displaystyle (X_{1},\dots ,X_{n})^{\mathrm {T} }}$, dass der multiple Korrelationskoeffizient die maximale Korrelation zwischen einer Zufallsvariable ${\displaystyle X_{i}}$ für ${\displaystyle i\leq k}$ und jeder beliebigen linearen Funktion von ${\displaystyle X_{k+1},\dots ,X_{n}}$ ist. Als Spezialfall erhält man den multiplen Korrelationskoeffizient zwischen ${\displaystyle X_{1}}$ und ${\displaystyle X_{2},\dots ,X_{n}}$. Im Gegensatz zu den gewöhnlichen Korrelationskoeffizienten liegt der multiple Korrelationskoeffizient zwischen ${\displaystyle 0}$ und ${\displaystyle 1}$. Der multiple Korrelationskoeffizient wird mit ${\displaystyle {\overline {R}}_{i\cdot (k+1\cdots n)}}$ notiert.

Der multiple Korrelationskoeffizient wurde 1896 von Karl Pearson für drei Variablen eingeführt und 1897 von George Udny Yule erweitert.^[1]

Sei ${\displaystyle \mathbf {X} =(X_{1},X_{2},\dots ,X_{n})^{\mathrm {T} }}$ ein Zufallsvektor mit positiv definiter Kovarianzmatrix ${\displaystyle {\boldsymbol {\Sigma }}}$ und ${\displaystyle 1\leq i\leq k<n}$.

Wir machen folgende Zerlegung

${\displaystyle \mathbf {X} ={\begin{pmatrix}\mathbf {X} _{1}\\\mathbf {X} _{2}\end{pmatrix}},\qquad {\boldsymbol {\Sigma }}={\begin{pmatrix}{\boldsymbol {\Sigma }}_{11}&{\boldsymbol {\Sigma }}_{12}\\{\boldsymbol {\Sigma }}_{21}&{\boldsymbol {\Sigma }}_{22}\end{pmatrix}},\qquad \mathbf {X_{1}} =(X_{1},\dots ,X_{k})^{\mathrm {T} },\quad \mathbf {X_{2}} =(X_{k+1},\dots ,X_{n})^{\mathrm {T} }.}$

Der multiple Korrelationskoeffizient ${\displaystyle {\overline {R}}_{i\cdot (k+1\cdots n)}}$ zwischen ${\displaystyle X_{i}}$ und ${\displaystyle X_{k+1},\dots ,X_{n}}$ ist die maximale Korrelation zwischen ${\displaystyle X_{i}}$ und jeder linearen Funktion ${\displaystyle {\boldsymbol {\alpha }}^{\mathrm {T} }\mathbf {X_{2}} }$.

In mathematischen Formeln ausgedrückt^[2]

${\displaystyle {\overline {R}}_{i\cdot (k+1\cdots n)}:=\max \limits _{\boldsymbol {\alpha }}{\frac {\operatorname {Cov} (X_{i},{\boldsymbol {\alpha }}^{\mathrm {T} }\mathbf {X_{2}} )}{\left(\operatorname {Var} (X_{i})\operatorname {Var} ({\boldsymbol {\alpha }}^{\mathrm {T} }\mathbf {X_{2}} )\right)^{1/2}}}=\max \limits _{\boldsymbol {\alpha }}{\frac {{\boldsymbol {\alpha }}^{\mathrm {T} }{\boldsymbol {\sigma }}_{i}}{(\sigma _{ii}{\boldsymbol {\alpha }}^{\mathrm {T} }{\boldsymbol {\Sigma }}_{22}{\boldsymbol {\alpha }})^{1/2}}},}$

wobei ${\displaystyle {\boldsymbol {\sigma }}_{i}^{\mathrm {T} }}$ die ${\displaystyle i}$-te Reihe von ${\displaystyle {\boldsymbol {\Sigma }}_{12}}$ ist und ${\displaystyle \operatorname {Var} (X_{i})=\sigma _{ii}}$.

Wendet man die Cauchy-Schwarz-Ungleichung an

${\displaystyle {\frac {{\boldsymbol {\alpha }}^{\mathrm {T} }{\boldsymbol {\sigma }}_{i}}{(\sigma _{ii}{\boldsymbol {\alpha }}^{\mathrm {T} }{\boldsymbol {\Sigma }}_{22}{\boldsymbol {\alpha }})^{1/2}}}={\frac {{\boldsymbol {\alpha }}^{\mathrm {T} }{\boldsymbol {\Sigma }}_{22}^{1/2}{\boldsymbol {\Sigma }}_{22}^{-1/2}{\boldsymbol {\sigma }}_{i}}{(\sigma _{ii}{\boldsymbol {\alpha }}^{\mathrm {T} }{\boldsymbol {\Sigma }}_{22}{\boldsymbol {\alpha }})^{1/2}}}\leq {\frac {\left({\boldsymbol {\alpha }}^{\mathrm {T} }{\boldsymbol {\Sigma }}_{22}{\boldsymbol {\alpha }}\right)^{1/2}\left({\boldsymbol {\sigma }}_{i}^{\mathrm {T} }{\boldsymbol {\Sigma }}_{22}^{-1}{\boldsymbol {\sigma }}_{i}\right)^{1/2}}{(\sigma _{ii}{\boldsymbol {\alpha }}^{\mathrm {T} }{\boldsymbol {\Sigma }}_{22}{\boldsymbol {\alpha }})^{1/2}}}=\left({\frac {{\boldsymbol {\sigma }}_{i}^{\mathrm {T} }{\boldsymbol {\Sigma }}_{22}^{-1}{\boldsymbol {\sigma }}_{i}}{\sigma _{ii}}}\right)^{1/2},}$

so erhält man eine Obergrenze, die erreicht wird, wenn ${\displaystyle {\boldsymbol {\alpha }}={\boldsymbol {\Sigma }}_{22}^{-1}{\boldsymbol {\sigma }}_{i}}$.

Daraus folgt

${\displaystyle {\overline {R}}_{i\cdot (k+1\cdots n)}=\left({\frac {{\boldsymbol {\sigma }}_{i}^{\mathrm {T} }{\boldsymbol {\Sigma }}_{22}^{-1}{\boldsymbol {\sigma }}_{i}}{\sigma _{ii}}}\right)^{1/2}.}$^[2][3]

• Es gilt

${\displaystyle 0\leq {\overline {R}}_{i\cdot (k+1\cdots n)}\leq 1}$

und ${\displaystyle {\overline {R}}_{i\cdot (k+1\cdots n)}=0\iff {\boldsymbol {\Sigma }}_{12}=\mathbf {0} }$.

• Man kann zeigen, dass wenn die Regressionsfunktion ${\displaystyle \mathbb {E} [X_{i}\mid \mathbf {X_{2}} ]}$ eine lineare Funktion ist, dann ist der multiple Korrelationskoeffizient gerade der Korrelationskoeffizient zwischen ${\displaystyle X_{i}}$ und ${\displaystyle \mathbb {E} [X_{i}\mid \mathbf {X_{2}} ]}$.^[3][2]
• Es gilt

${\displaystyle 1-{\overline {R}}_{i\cdot (k+1\cdots n)}^{2}={\frac {\operatorname {det} ({\boldsymbol {\Sigma }}_{i})}{\sigma _{ii}\operatorname {det} ({\boldsymbol {\Sigma }}_{22})}},\quad }$ wobei ${\displaystyle \quad {\boldsymbol {\Sigma }}_{i}:={\begin{pmatrix}\sigma _{ii}&{\boldsymbol {\sigma }}_{i}^{\mathrm {T} }\\{\boldsymbol {\sigma }}_{i}&{\boldsymbol {\Sigma }}_{ii}\end{pmatrix}}.}$^[2]

Möchten wir ${\displaystyle {\overline {R}}_{1\cdot (2\cdots n)}}$ herleiten, das heißt den multiplen Korrelationskoeffizient zwischen ${\displaystyle X_{1}}$ und ${\displaystyle X_{2},\dots ,X_{n}}$, dann machen wir folgende Zerlegung

${\displaystyle \mathbf {X} ={\begin{pmatrix}X_{1}\\\mathbf {X} _{2}\end{pmatrix}},\qquad {\boldsymbol {\Sigma }}={\begin{pmatrix}\sigma _{11}&{\boldsymbol {\sigma }}_{12}^{\mathrm {T} }\\{\boldsymbol {\sigma }}_{12}&{\boldsymbol {\Sigma }}_{22}\end{pmatrix}},}$

da ${\displaystyle {\boldsymbol {\sigma }}_{12}}$ ein ${\displaystyle (n-1)\times 1}$-dimensionaler Vektor ist, verzichten wir auf die Notation ${\displaystyle {\boldsymbol {\Sigma }}_{12}}$.

Es gilt dann

${\displaystyle {\overline {R}}_{1\cdot (2\cdots n)}=\left({\frac {{\boldsymbol {\sigma }}_{12}^{\mathrm {T} }{\boldsymbol {\Sigma }}_{22}^{-1}{\boldsymbol {\sigma }}_{12}}{\sigma _{11}}}\right)^{1/2}.}$

Seien ${\displaystyle \mathbf {X} _{1},\dots ,\mathbf {X} _{N}}$ unabhängige Stichproben von ${\displaystyle \mathbf {X} }$ und

${\displaystyle \mathbf {S} ={\frac {1}{(N-1)}}\sum \limits _{i=1}^{N}(\mathbf {X} _{i}-{\overline {\mathbf {X} }})(\mathbf {X} _{i}-{\overline {\mathbf {X} }})^{\mathrm {T} }}$

die korrigierte Stichprobenkovarianzmatrix. Dann machen wir folgende Zerlegung

${\displaystyle \mathbf {S} ={\begin{pmatrix}\mathbf {S} _{11}&\mathbf {S} _{12}\\\mathbf {S} _{21}&\mathbf {S} _{22}\end{pmatrix}}}$

und der multiple Korrelationskoeffizient einer Stichprobe ist dann

${\displaystyle R_{i\cdot (k+1\cdots n)}=\left({\frac {\mathbf {s} _{i}^{\mathrm {T} }{\boldsymbol {S}}_{22}^{-1}\mathbf {s} _{i}}{s_{ii}}}\right)^{1/2},}$

wobei ${\displaystyle \mathbf {s} _{i}^{\mathrm {T} }}$ die ${\displaystyle i}$-te Reihe von ${\displaystyle \mathbf {S} _{12}}$ ist.

Wenn eine Normalverteilung zugrunde liegt, dann ist ${\displaystyle R_{i\cdot (k+1\cdots n)}}$ der Maximum-Likelihood-Schätzer von ${\displaystyle {\overline {R}}_{i\cdot (k+1\cdots n)}}$.^[3]

• Theodore Wilbur Anderson: Multivariate Analysis and Its Applications. Hrsg.: Wiley. 2003, ISBN 978-0-940600-35-5. 
• Robb J. Muirhead: Aspects of Multivariate Statistical Theory. Hrsg.: Wiley, Deutschland. 2009. 

1. ↑ Theodore Wilbur Anderson: Multivariate Analysis and Its Applications. Hrsg.: Wiley. 2003, ISBN 978-0-940600-35-5, S. 33. 
2. ↑ ^{a b c d} Theodore Wilbur Anderson: Multivariate Analysis and Its Applications. Hrsg.: Wiley. 2003, ISBN 978-0-940600-35-5, S. 38. 
3. ↑ ^{a b c} Robb J. Muirhead: Aspects of Multivariate Statistical Theory. Hrsg.: Wiley, Deutschland. 2009, S. 164–167.