Wald-Test – Wikipedia

Der Wald-Test ist in der Ökonometrie ein parametrischer statistischer Test, der 1939 von Abraham Wald (1902–1950) entwickelt worden ist. Mit dem Test kann die Verteilung einer geeigneten Teststatistik unter Gültigkeit der Nullhypothese bestimmt werden. Eine allgemeine Teststatistik für verschiedenste ökonometrische Fragestellungen ist die Wald-Statistik, die asymptotisch einer Chi-Quadrat-Verteilung bzw. ${\displaystyle \chi ^{2}}$-Verteilung folgt. Der Wald-Test basiert auf der Tatsache, dass der Maximum-Likelihood-Schätzer ${\displaystyle {\hat {\vartheta }}_{\text{ML}}}$ für den unbekannten Parameter für große Beobachtungszahlen in Verteilung gegen eine Normalverteilung strebt. Viele Tests lassen sich daher als Spezialfälle des Wald-Tests auffassen.

Aus der Maximum-Likelihood-Theorie weiß man, dass der Maximum-Likelihood-Schätzer des unbekannten Parameters in Verteilung für große Beobachtungszahlen gegen eine Normalverteilung strebt. Sei ${\displaystyle \vartheta }$ ein unbekannter Parameter in der Grundgesamtheit und ${\displaystyle \vartheta _{0}}$ ein vorgegebener Wert. Um die folgende Nullhypothese gegen korrespondierende Alternativhypothese zu testen

${\displaystyle H_{0}\colon \vartheta =\vartheta _{0}}$  gegen  ${\displaystyle H_{1}\colon \vartheta \neq \vartheta _{0}}$,

kann man eine der folgenden Test-Statistiken benutzen:^[1]

${\displaystyle {\sqrt {I({\hat {\vartheta }}_{\text{ML}})}}({\hat {\vartheta }}_{\text{ML}}-\vartheta _{0})\;{\stackrel {a}{\sim }}\;{\mathcal {N}}(0,1)}$

oder

${\displaystyle {\sqrt {J({\hat {\vartheta }}_{\text{ML}})}}({\hat {\vartheta }}_{\text{ML}}-\vartheta _{0})\;{\stackrel {a}{\sim }}\;{\mathcal {N}}(0,1)}$,

die beide unter der Nullhypothese asymptotisch normalverteilt sind. Hierbei bezeichnet ${\displaystyle I(\cdot )}$ die Fisher-Information und ${\displaystyle J(\cdot )}$ die erwartete Fisher-Information. Beide Teststatistiken sind approximative Pivotgrößen für ${\displaystyle \vartheta }$ und werden Wald-Statistiken genannt.

Betrachtet man die quadrierte Teststatistik, so gilt:

${\displaystyle W:=F({\hat {\vartheta }}_{\text{ML}})({\hat {\vartheta }}_{\text{ML}}-\vartheta _{0})^{2}\;{\stackrel {a}{\sim }}\;\chi ^{2}(1)}$,

d. h., sie ist bei großen Stichproben asymptotisch Chi-Quadrat-verteilt. Dies gilt, da eine quadrierte standardnormalverteilte Zufallsgröße einer Chi-Quadrat-Verteilung mit einem Freiheitsgrad folgt.

Bezeichne ${\displaystyle {\hat {\vartheta }}_{\text{ML}}}$ den Maximum-Likelihood-Schätzer für ${\displaystyle \vartheta }$, dann gilt für die Wahrscheinlichkeit, dass die Wald-Statistik innerhalb der ${\displaystyle 1-\alpha /2}$-Quantile der Standardnormalverteilung liegt

${\displaystyle P\left({-z_{\left(1-{\tfrac {\alpha }{2}}\right)}\leq {\sqrt {I({\hat {\vartheta }}_{\text{ML}})}}({\hat {\vartheta }}_{\text{ML}}-\vartheta )\leq z_{\left(1-{\tfrac {\alpha }{2}}\right)}}\right)\approx 1-\alpha }$

und damit ergibt sich das ${\displaystyle (1-\alpha )}$-Wald-Vertrauensintervall zu^[2]

${\displaystyle KI_{1-\alpha }(\vartheta )=\left[{\hat {\vartheta }}_{\text{ML}}-z_{\left(1-{\tfrac {\alpha }{2}}\right)}{\frac {1}{\sqrt {I({\hat {\vartheta }}_{\text{ML}})}}};{\hat {\vartheta }}_{\text{ML}}+z_{\left(1-{\tfrac {\alpha }{2}}\right)}{\frac {1}{\sqrt {I({\hat {\vartheta }}_{\text{ML}})}}}\right]}$.

Im mehrdimensionalen Fall, wobei ${\displaystyle {\hat {\boldsymbol {\vartheta }}}=({\hat {\vartheta _{1}}},{\hat {\vartheta _{2}}},\dotsc ,{\hat {\vartheta _{k}}})^{\top }}$ der Vektor der Schätzfunktionen ist und ${\displaystyle {\boldsymbol {\Sigma }}_{\hat {\boldsymbol {\vartheta }}}}$ die asymptotische nichtsinguläre Kovarianzmatrix des Maximum-Likelihood-Schätzers ist, kann die Nullhypothese ${\displaystyle H_{0}:{\boldsymbol {\vartheta }}={\boldsymbol {\vartheta }}_{0}}$ mit folgender Teststatistik getestet werden^[3]

${\displaystyle W=({\hat {\boldsymbol {\vartheta }}}-{\boldsymbol {\vartheta }}_{0})^{\top }{\boldsymbol {\Sigma }}_{\hat {\boldsymbol {\vartheta }}}^{-1}({\hat {\boldsymbol {\vartheta }}}-{\boldsymbol {\vartheta }}_{0})\ \;{\stackrel {a,H_{0}}{\sim }}\;\chi ^{2}(k)}$

ist dann asymptotisch Chi-Quadrat-verteilt mit ${\displaystyle k}$ Freiheitsgraden. Die Restriktionsfunktion ${\displaystyle r({\hat {\vartheta }})=({\hat {\vartheta }}-\vartheta _{0})}$ muss hierzu unter ${\displaystyle H_{0}}$ vollständig differenzierbar sein und vollen Rang haben.

Um allgemeine lineare Hypothesen zu testen, spielt die asymptotische Verteilung der Wald-Statistik eine große Rolle. Sei ${\displaystyle {\boldsymbol {R}}}$ eine ${\displaystyle q\times (k+1)}$ Restriktionsmatrix, mit ${\displaystyle q\leq (k+1)}$ Sei weiterhin angenommen, dass die ${\displaystyle q}$ Restriktionen an den ${\displaystyle (k+1)\times 1}$ Parametervektor ${\displaystyle {\boldsymbol {\beta }}}$ ausgedrückt werden können als :${\displaystyle H_{0}:{\boldsymbol {R}}{\boldsymbol {\beta }}={\boldsymbol {r}}}$, wobei ${\displaystyle {\boldsymbol {r}}}$ ein ${\displaystyle q\times 1}$-Vektor bestehend aus bekannten Konstanten darstellt. Unter bestimmten Voraussetzungen folgt unter der Nullhypothese die gewichtete Hypothesenquadratsumme

${\displaystyle W={\frac {1}{\sigma ^{2}}}({\boldsymbol {R}}{\boldsymbol {\hat {\beta }}}-{\boldsymbol {r}})^{\top }({\boldsymbol {R}}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}{\boldsymbol {R}}^{\top })^{-1}({\boldsymbol {R}}{\boldsymbol {\hat {\beta }}}-{\boldsymbol {r}})\sim \chi ^{2}(q)}$

einer Chi-Quadrat-Verteilung mit ${\displaystyle q}$ (Anzahl der Restriktionen) Freiheitsgraden. Hierbei misst ${\displaystyle {\boldsymbol {R}}{\boldsymbol {\hat {\beta }}}-{\boldsymbol {r}}}$ wie weit der geschätzte Wert ${\displaystyle {\boldsymbol {\hat {\beta }}}}$ von der Nullhypothese ${\displaystyle {\boldsymbol {R}}{\boldsymbol {\beta }}-{\boldsymbol {r}}=\mathbf {0} }$ abweicht. Weiterhin ist ${\displaystyle ({\boldsymbol {R}}{\boldsymbol {\beta }}-{\boldsymbol {r}})^{\top }({\boldsymbol {R}}{\boldsymbol {\beta }}-{\boldsymbol {r}})}$ die dazugehörige Summe der Abweichungsquadrate (Analog zur Residuenquadratsumme). Diese Summe der Abweichungsquadrate wird mit der inversen Kovarianzmatrix der Nullhypothese ${\displaystyle ({\boldsymbol {R}}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}{\boldsymbol {R}}^{\top })^{-1}/\sigma ^{2}}$ gewichtet, weil für eine große Kovarianz ebenso so große Abweichungen ${\displaystyle {\boldsymbol {R}}{\boldsymbol {\hat {\beta }}}-{\boldsymbol {r}}}$ nicht notwendigerweise ein Indikator für ${\displaystyle H_{0}}$ sind. Falls der erwartungstreue Schätzer für die Störgrößenvarianz ${\displaystyle {\hat {\sigma }}^{2}={\tfrac {1}{n-k-1}}\sum \nolimits _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}}$ benutzt wird, kann man zeigen, dass die Wald-Statistik ${\displaystyle W}$ dividiert durch die Anzahl der Restriktionen ${\displaystyle q}$ genau der F-Statistik des multiplen linearen Testproblems entspricht.^[4]

Wenn eine Variable in einer Grundgesamtheit normalverteilt ist mit ${\displaystyle X\sim {\mathcal {N}}(\mu ;\sigma ^{2})}$ mit unbekanntem Parameter ${\displaystyle \mu }$ und bekanntem ${\displaystyle \sigma }$, dann ist der Stichprobenmittelwert

${\displaystyle {\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}\sim {\mathcal {N}}(\mu ,\sigma ^{2}/n)}$

auch der Maximum-Likelihood-Schätzer für ${\displaystyle \mu }$. Eine der Hypothesen für den Einstichproben-Gauß-Test lautet:

${\displaystyle H_{0}\colon \mu =\mu _{0}}$  gegen  ${\displaystyle H_{1}\colon \mu \neq \mu _{0}}$

und die Teststatistik nach Wald wäre

${\displaystyle T={\frac {{\overline {X}}-\mu _{0}}{\sigma /{\sqrt {n}}}}\sim {\mathcal {N}}(0,1)}$.

Somit kann der Einstichproben-Gauß-Test als Spezialfall des Wald-Tests aufgefasst werden.

Einen weiteren Spezialfall des Wald-Tests stellt der globale F-Test dar. Bei diesem wird geprüft, ob mindestens eine erklärende Variable einen Erklärungsgehalt für das Modell liefert. Falls diese Hypothese verworfen wird, ist somit das Modell nutzlos. Die Nullhypothese des F-Tests auf Gesamtsignifikanz des Modells sagt aus, dass alle erklärenden Variablen keinen Einfluss auf die abhängige Variable haben, und die Alternativhypothese, dass mindestens eine erklärende Variable Einfluss auf sie hat. Sowohl die erklärenden Variablen als auch die unabhängigen Variablen können binär (kategoriell) oder metrisch sein. Der Wald-Test kann dann die Hypothesen testen (ohne Einbezug des Achsenabschnitts):^[5]

${\displaystyle H_{0}\colon \beta _{1}=\beta _{2}=\ldots =\beta _{k}\;=\;0\Rightarrow \rho ^{2}=0}$  gegen  ${\displaystyle H_{1}:\beta _{j}\;\neq \;0\;\mathrm {f{\ddot {u}}r\;mindestens\;ein} \;j\in \{1,\ldots ,k\}\Rightarrow \rho ^{2}>0}$.

Eine Alternative zum Wald-Test bietet der Likelihood-Quotienten-Test. Dieser ist zwar rechenaufwändiger, dafür zeigt er in kleinen Stichproben jedoch auch bessere Eigenschaften. Eine weitere Alternative ist der sogenannte Lagrange-Multiplikator-Tests (LM-Tests, siehe auch Lagrange-Multiplikator). Asymptotisch sind diese drei Tests jedoch identisch.

• Wald's W-Statistics. In: Encyclopedia of Statistical Sciences. Wiley, Hoboken 2006, S. 9028–9029.
• Abraham Wald: Tests of Statistical Hypotheses Concerning Several Parameters When the Number of Observations is Large. In: Transactions of the American Mathematical Society. Vol. 54, No. 3, Nov 1943, S. 426–482, doi:10.1090/S0002-9947-1943-0012401-3, JSTOR:1990256.
• Tim F. Liao: Comparing Social Groups: Wald Statistics for Testing Equality Among Multiple Logit Models. In: International Journal of Comparative Sociology. Vol. 45, No. 1–2, 2004, S. 3–16, doi:10.1177/0020715204048308.
• Robert F. Engle: Wald, Likelihood Ratio and Lagrange Multiplier Tests in Econometrics. In: Zvi Griliches, Michael D. Intriligator (Hrsg.): Handbook of Econometrics. Vol. 2, Elsevier, Amsterdam u. a. 1984, S. 775–826.

1. ↑ Leonhard Held und Daniel Sabanés Bové: Applied Statistical Inference: Likelihood and Bayes. Springer Heidelberg New York Dordrecht London (2014). ISBN 978-3-642-37886-7, S. 99.
2. ↑ Leonhard Held und Daniel Sabanés Bové: Applied Statistical Inference: Likelihood and Bayes. Springer Heidelberg New York Dordrecht London (2014). ISBN 978-3-642-37886-7, S. 100.
3. ↑ George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4, S. 109.
4. ↑ Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 4. Auflage. Nelson Education, 2015, S. 810
5. ↑ Ludwig Fahrmeir, Rita Künstler, Iris Pigeot, Gerhard Tutz: Statistik. Der Weg zur Datenanalyse. 8., überarb. und erg. Auflage. Springer Spektrum, Berlin/ Heidelberg 2016, ISBN 978-3-662-50371-3, S. 458.