Empirische Verteilungsfunktion – Wikipedia
Eine empirische Verteilungsfunktion – auch Summenhäufigkeitsfunktion, (empirische) Verteilungsfunktion der Stichprobe oder Stichprobenverteilungsfunktion[1] genannt – ist in der beschreibenden Statistik und der Stochastik eine Funktion, die jeder reellen Zahl den Anteil der Stichprobenwerte, die kleiner oder gleich sind, zuordnet. Die Definition der empirischen Verteilungsfunktion kann in verschiedenen Schreibweisen erfolgen.
Definition
[Bearbeiten | Quelltext bearbeiten]Allgemeine Definition
[Bearbeiten | Quelltext bearbeiten]Wenn die Beobachtungswerte in der Stichprobe (die Stichprobenwerte) sind, dann ist die empirische Verteilungsfunktion definiert als
- ,
wobei die Indikatorfunktion einer Menge bezeichnet, d. h.
- .
![](http://upload.wikimedia.org/wikipedia/commons/thumb/b/b5/Distribucni_funkce_empiricka.svg/220px-Distribucni_funkce_empiricka.svg.png)
Ihre Wahrscheinlichkeitsfunktion ist
wobei das Dirac-Maß ist.
Alternative Darstellungen
[Bearbeiten | Quelltext bearbeiten]- Mit seien die aufsteigend geordneten Beobachtungswerte bezeichnet – sie bilden die so genannte geordnete Stichprobe –, dann ist
- Alternativ lässt sich die empirische Verteilungsfunktion mit den beobachteten, voneinander verschiedenen Merkmalswerten und den zugehörigen relativen Häufigkeiten in der Stichprobe bestimmen:
- Die Funktion ist damit eine monoton wachsende rechtsstetige Treppenfunktion mit Sprüngen der Höhe an den Stellen .
- Eine alternative Darstellung, die manchmal auch zur Definition verwendet wird, ergibt sich mit
- Während die erste Summe verdeutlicht, dass die empirische Verteilungsfunktion an jeder Stelle ein arithmetischer Mittelwert der transformierten Beobachtungen ist, betont die zweite Summendarstellung die funktionale Abhängigkeit von und stellt die Funktion als arithmetisches Mittel von empirischen Verteilungsfunktionen dar, da für die empirische Verteilungsfunktion eines einzelnen beobachteten Wertes ist.
- In bestimmten Anwendungsbereichen, z. B. in Physik und Informatik, erfolgt eine symbolische Darstellung und Interpretation von als Integral. Dazu wird die Dirac-Delta-Distribution verwendet, die eine verallgemeinerte Funktion im Sinn der Distributionentheorie ist und die Eigenschaft
- besitzt. Es gilt dann
Definition für klassierte Daten
[Bearbeiten | Quelltext bearbeiten]![](http://upload.wikimedia.org/wikipedia/commons/thumb/5/52/Horsekick_cdf_groupeddata.svg/220px-Horsekick_cdf_groupeddata.svg.png)
Manchmal liegen Daten nur klassiert vor, d. h. es sind Klassen mit Klassenuntergrenzen , Klassenobergrenzen und relativen Klassenhäufigkeiten gegeben, .
Dann wird die Verteilungsfunktion definiert als
An den Klassenober- und -untergrenzen stimmt die Definition mit der Definition für unklassierte Daten überein, in den Bereichen dazwischen jedoch findet nun eine lineare Interpolation statt (siehe auch Summenhäufigkeitspolygon), bei der man unterstellt, dass die Beobachtungen innerhalb der Klassen gleichmäßig verteilt sind. Empirische Verteilungsfunktionen klassierter Daten sind damit (ebenso wie Verteilungsfunktionen stetiger Wahrscheinlichkeitsverteilungen, z. B. der Normalverteilung) zwar stetig, doch nur zwischen den Klassengrenzen differenzierbar, wobei ihr Anstieg der Höhe der jeweiligen Säule des zugrundeliegenden Histogramms entspricht.
Zu beachten ist dabei allerdings, dass die Intervallgrenzen klassierter Daten nach Möglichkeit so gewählt werden, dass die beobachteten Merkmalsausprägungen zwischen und nicht (wie im Fall unklassierter Daten) auf den Intervallgrenzen liegen, wodurch je nach Wahl der Klassengrenzen für ein und denselben Datenbestand ggf. leicht verschiedene Summenhäufigkeitspolygone entstehen können.
Beispiele
[Bearbeiten | Quelltext bearbeiten]Allgemeiner Fall: Unklassierte Daten
[Bearbeiten | Quelltext bearbeiten]Als Beispiel sollen die Pferdetrittdaten von Ladislaus von Bortkewitsch dienen. Im Zeitraum von 1875 bis 1894 starben in 14 Kavallerieregimentern der preußischen Armee insgesamt 196 Soldaten an Pferdetritten:
![](http://upload.wikimedia.org/wikipedia/commons/thumb/4/4d/Horsekick_cdf.svg/220px-Horsekick_cdf.svg.png)
Jahr | 75 | 76 | 77 | 78 | 79 | 80 | 81 | 82 | 83 | 84 | 85 | 86 | 87 | 88 | 89 | 90 | 91 | 92 | 93 | 94 | |
Tote | 3 | 5 | 7 | 9 | 10 | 18 | 6 | 14 | 11 | 9 | 5 | 11 | 15 | 6 | 11 | 17 | 12 | 15 | 8 | 4 | 196 |
Schreibt man die Tabelle mit den Merkmalsausprägungen und relativen Häufigkeiten auf, dann ergibt sich
3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 14 | 15 | 17 | 18 | |
Jahre | 1 | 1 | 2 | 2 | 1 | 1 | 2 | 1 | 3 | 1 | 1 | 2 | 1 | 1 |
0,05 | 0,05 | 0,10 | 0,10 | 0,05 | 0,05 | 0,10 | 0,05 | 0,15 | 0,05 | 0,05 | 0,10 | 0,05 | 0,05 | |
0,05 | 0,10 | 0,20 | 0,30 | 0,35 | 0,40 | 0,50 | 0,55 | 0,70 | 0,75 | 0,80 | 0,90 | 0,95 | 1,00 |
Die letzte Zeile enthält den Wert der Verteilungsfunktion an der entsprechenden Stelle . Beispielsweise an der Stelle ergibt sich .
Klassierte Daten
[Bearbeiten | Quelltext bearbeiten]Klassiert man die Daten, so erhält man folgende Datentabelle. Die Grafik dazu findet man bei der Definition.
ab | 2 | 4 | 6 | 8 | 10 | 12 | 14 | 16 |
bis | 4 | 6 | 8 | 10 | 12 | 14 | 16 | 18 |
0,10 | 0,20 | 0,10 | 0,15 | 0,20 | 0,05 | 0,10 | 0,10 | |
0,10 | 0,30 | 0,40 | 0,55 | 0,75 | 0,80 | 0,90 | 1,00 |
Die letzte Zeile enthält den Wert der Verteilungsfunktion an der entsprechenden Stelle . An der Stelle ergibt sich .
Empirische Verteilungsfunktion als zufällige Funktion
[Bearbeiten | Quelltext bearbeiten]Wenn die beobachteten Werte als realisierte Werte von Zufallsvariablen mit gemeinsamer -dimensionaler Wahrscheinlichkeitsverteilung aufgefasst werden, so ist die aus den beobachteten Werten gebildete empirische Verteilungsfunktion
eine realisierte Funktion der zufälligen empirischen Verteilungsfunktion
Damit definiert die Abbildung einen stochastischen Prozess, der auch durch die indizierte Familie von Zufallsvariablen charakterisiert werden kann. Realisierungen (Pfade) dieses Prozesses sind nichtstochastische Verteilungsfunktionen .
Schätzung
[Bearbeiten | Quelltext bearbeiten]Im inferenztheoretischen Zusammenhang werden die beobachteten Werte als realisierte Werte von stochastisch unabhängigen und identisch verteilten Zufallsvariablen aufgefasst, die jeweils dieselbe unbekannte Verteilungsfunktion haben. Die aus den beobachteten Werten gebildete empirische Verteilungsfunktion ist dann eine konkrete Schätzung für und die zufälligen empirische Verteilungsfunktion ist ein Schätzer für die Verteilungsfunktion .
Endliche und asymptotische Eigenschaften der Verteilung von werden in der Theorie der empirischen Prozesse untersucht.[2][3] Dabei ist
das Standardbeispiel eines empirischen Prozesses, dessen asymptotische Verteilung (für ) unter bestimmten Voraussetzungen durch eine Brownsche Brücke charakterisiert werden kann.
Eigenschaften für endlichen Stichprobenumfang
[Bearbeiten | Quelltext bearbeiten]Für stochastisch unabhängige und identisch verteilte Zufallsvariablen , die jeweils dieselbe Verteilungsfunktion haben, gelten folgende Aussagen für endlichen fixierten Stichprobenumfang :
- Für jede Stelle ist eine Bernoulli-verteilte Zufallsvariable mit dem Bernoulli-Parameter .
- Für jede Stelle ist eine binomialverteilte Zufallsvariable. Es gilt:
- Für jede Stelle gilt:
- ist also eine erwartungstreue Schätzfunktion für .
- Für jede Stelle gilt:
- Für jede Stelle und die Zufallsvariable
- gilt:
- Die Verteilung der reellwertigen Zufallsvariablen
- welche die (zufällige) maximale Abweichung der zufälligen empirischen Verteilungsfunktion von der Verteilungsfunktion angibt, hängt für eine stetige Verteilungsfunktion nicht von ab. Die Stichprobenfunktion ist also bezüglich der Klasse aller stetigen Verteilungsfunktionen eine verteilungsfreie Statistik, die Grundlage des Kolmogorow-Smirnow-Anpassungstests ist.
Konvergenzeigenschaften
[Bearbeiten | Quelltext bearbeiten]Für stochastisch unabhängige und identisch verteilte Zufallsvariablen , die jeweils dieselbe Verteilungsfunktion haben, gelten folgende Konvergenzaussagen für :
- Das starke Gesetz der großen Zahlen sichert zu, dass für jeden Wert die Zufallsvariable fast sicher gegen die Verteilungsfunktion an der Stelle konvergiert:
- Damit ist ein stark konsistenter Schätzer für . Die zufällige empirische Verteilungsfunktion konvergiert also punktweise fast sicher gegen die Verteilungsfunktion .
- Für alle gilt:
- Dabei bezeichnet die Konvergenz in Verteilung und bezeichnet eine Normalverteilung mit den beiden Parametern und , die für eine normalverteilte Zufallsvariable deren Erwartungswert und Varianz angeben. Üblich ist auch die Darstellung
- mit Konvergenz in Verteilung gegen eine Standardnormalverteilung.
- Ein stärkeres Resultat, der Hauptsatz der mathematischen Statistik oder Satz von Glivenko-Cantelli, sagt aus, dass die fast sichere Konvergenz nicht nur punktweise – für jede Stelle –, sondern sogar gleichmäßig geschieht:
- Diese Eigenschaft ist die mathematische Begründung dafür, dass es sinnvoll ist, Daten mit einer empirischen Verteilungsfunktion zu beschreiben, und dass Stichprobenziehen mit Zurücklegen insofern grundsätzlich funktioniert, dass die empirische Verteilungsfunktion bei über alle Grenzen wachsendem Stichprobenumfang der empirischen Verteilungsfunktion beliebig nahe kommt.
- Kolmogorow zeigte, dass für eine beliebige stetige Verteilungsfunktion gegen die Kolmogorow-Verteilung konvergiert.[4]
- Die Dvoretzky–Kiefer–Wolfowitz-Ungleichung besagt
- mit einer unspezifierten Konstante und macht eine Aussage darüber, mit welcher Geschwindigkeit die Konvergenz von gegen Null stattfindet. Diese Konstante wurde später durch Massard als bestmögliche Konstante näher spezifiziert.[5]
Anmerkung zur Notation
[Bearbeiten | Quelltext bearbeiten]- In theoretischen Arbeiten wird häufig die zufällige empirische Verteilungsfunktion mit bezeichnet.
- In eher wahrscheinlichkeitstheoretisch als statistisch orientierten Darstellungen wird die Bernoulli-verteilte Zufallsvariable in der Form notiert, wobei eine abkürzende Notation für das Ereignis ist und als Funktion auf einem abstrakten Wahrscheinlichkeitsraum aufgefasst wird.
Empirische Verteilung
[Bearbeiten | Quelltext bearbeiten]Empirische Verteilung für gegebene beobachtete Werte
[Bearbeiten | Quelltext bearbeiten]Die empirische Verteilungsfunktion ist die Verteilungsfunktion der empirischen Verteilung , die durch
definiert ist und von den beobachteten Werten abhängt.
Wenn die beobachteten Werte paarweise voneinander verschieden sind, dann ist die empirische Verteilung eine diskrete Verteilung, die jedem Beobachtungspunkt den Wert zuordnet, d. h. für . Falls bestimmte Werte mehrfach auftreten, ordnet die empirische Verteilung der entsprechenden Stelle die relative Häufigkeit zu. Diese relativen Häufigkieten addieren sich zu Eins. Umgekehrt lässt sich zu jeder empirischen Verteilung die empirische Verteilungsfunktion
definieren. Die empirische Verteilung besitzt formal die Eigenschaften einer Wahrscheinlichkeitsverteilung, kann aber in der deskriptiven Statistik als relative Häufigkeitsverteilung aufgefasst werden, ohne dass eine stochastische Interpretation intendiert ist.
Zufällige empirische Verteilung
[Bearbeiten | Quelltext bearbeiten]Eine zufällige empirische Verteilungsfunktion charakterisiert eine zufällige empirische Verteilung , die durch
definiert werden kann und von den Zufallsvariablen abhängt.
Zu einer gegebenen zufälligen empirischen Verteilung ergibt sich die zufällige empirische Verteilungsfunktion als
Ogive
[Bearbeiten | Quelltext bearbeiten]![](http://upload.wikimedia.org/wikipedia/commons/thumb/3/32/Ogive.svg/220px-Ogive.svg.png)
Ogive bezeichnete ursprünglich das gotische Bau-Stilelement Spitzbogen sowie die verstärkten Rippen in den Gewölben. Der Ausdruck wurde in der Statistik für eine Verteilungsfunktion erstmals 1875 von Francis Galton verwendet:
„When the objects are marshalled in the order of their magnitude along a level base at equal distances apart, a line drawn freely through the tops of the ordinates..will form a curve of double curvature... Such a curve is called, in the phraseology of architects, an ‘ogive’.“
Auf der horizontalen Achse des Koordinatensystems werden hier die geordneten (oft gruppierten) Merkmalsausprägungen aufgetragen; auf der vertikalen Achse die relativen kumulierten Häufigkeiten in Prozent.
Die Grafik rechts zeigt die kumulierte Verteilungsfunktion einer theoretischen Standardnormalverteilung. Wird der rechte Teil der Kurve an der Stelle gespiegelt (rot gestrichelt), dann sieht die entstehenden Figur wie eine Ogive aus.
Darunter wird eine empirische Verteilungsfunktion gezeigt. Für die Grafik wurden 50 Zufallszahlen aus einer Standardnormalverteilung gezogen. Je mehr Zufallszahlen man zieht, desto stärker nähert man sich der theoretischen Verteilungsfunktion an.
Literatur
[Bearbeiten | Quelltext bearbeiten]- Horst Mayer: Beschreibende Statistik. München – Wien 1995.
- P. H. Müller (Hrsg.): Lexikon der Stochastik – Wahrscheinlichkeitsrechnung und mathematische Statistik. 5. Auflage. Akademie-Verlag, Berlin 1991, ISBN 978-3-05-500608-1, Empirische Verteilungsfunktion (empirical distribution function), S. 84–85.
Einzelnachweise
[Bearbeiten | Quelltext bearbeiten]- ↑ Wolfgang Polasek: Schließende Statistik – Einführung in die Schätz- und Testtheorie für Wirtschaftswissenschaftler (= Springer-Lehrbuch). 2. Auflage. Springer, Berlin / Heidelberg 1997, ISBN 978-3-540-61731-0, S. 7, doi:10.1007/978-3-642-59099-3.
- ↑ Galen R. Shorack, Jon A. Wellner: Empirical Processes with Applications in Statistics. Wiley, New York 1986 (Unveränderter Nachdruck: SIAM, Philadelphia 2009, ISBN 978-0-89871-684-9).
- ↑ Aad W. van der Vaart, Jon A. Wellner: Weak Convergence and Empirical Processes – With Applications to Statistics (= Springer Series in Statistics). 2. Auflage. Springer, Cham 2023, ISBN 978-3-03129038-1, doi:10.1007/978-3-031-29040-4.
- ↑ P. H. Müller (Hrsg.): Lexikon der Stochastik – Wahrscheinlichkeitsrechnung und mathematische Statistik. 5. Auflage. Akademie-Verlag, Berlin 1991, ISBN 978-3-05-500608-1, S. 85.
- ↑ P. Massart: The tight constant in the Dvoretzky–Kiefer–Wolfowitz inequality. In: The Annals of Probability. Band 18, Nr. 3, 1990, S. 1269–1283, doi:10.1214/aop/1176990746.