Wesentliche Grundlagen I
Bevor wir starten, möchte ich einige grundlegende Begriffe erklären, wie z. B. Varianz (variance), Standardabweichung (standard deviation), Normalverteilung (normal distribution), Schätzung (estimate), Genauigkeit (accuracy), Präzision (precision), Mittelwert (mean), verborgener Zustand (hidden state) und Zufallsvariable (random variable).
Ich gehe davon aus, dass viele Leser mit grundlegender Statistik vertraut sind. Zu Beginn dieses Buchs habe ich jedoch versprochen, die wichtigsten Grundlagen bereitzustellen, die notwendig sind, um zu verstehen, wie der Kalman-Filter funktioniert. Wenn dir diese Themen bereits geläufig sind, kannst du dieses Kapitel überspringen und direkt zum nächsten Abschnitt springen.
Verborgener Zustand (Hidden State)
Der Begriff verborgener Zustand (hidden state) bezeichnet den tatsächlichen Zustand eines Systems, der nicht direkt beobachtbar oder messbar ist. Stattdessen muss der verborgene Zustand aus beobachtbaren Daten abgeleitet werden, häufig mithilfe eines mathematischen Modells und von Schätzverfahren. Betrachte zum Beispiel ein Szenario mit fünf Münzen: zwei 5-Cent-Münzen und drei 10-Cent-Münzen. Der Systemzustand ist der durchschnittliche Wert der Münzen. Durch Mittelung der Münzwerte können wir diesen Mittelwert direkt berechnen.
Betrachte zum Beispiel ein Szenario mit fünf Münzen: zwei 5-Cent-Münzen und drei 10-Cent-Münzen. Der Systemzustand ist der durchschnittliche Wert der Münzen. Durch Mittelung der Münzwerte können wir diesen Mittelwert direkt berechnen.
In diesem Beispiel kann das Ergebnis nicht als verborgener Zustand betrachtet werden, weil die Systemzustände (die Münzwerte) bekannt sind und die Berechnung die gesamte Grundgesamtheit (alle 5 Münzen) umfasst.
Nimm nun fünf verschiedene Gewichtsmessungen derselben Person an: 79.8 kg, 80 kg, 80.1 kg, 79.8 kg und 80.2 kg. Die Person ist ein System, und das Gewicht der Person ist ein Systemzustand.
Die Messwerte unterscheiden sich aufgrund des zufälligen Messfehlers (random measurement error) der Waage. Wir kennen den wahren Wert des Gewichts nicht, da er ein verborgener Zustand ist. Wir können das Gewicht jedoch schätzen, indem wir die Messwerte mitteln.
Das Ergebnis ist die geschätzte Systemzustandsgröße.
Varianz (Variance) und Standardabweichung (Standard Deviation)
Die Varianz (variance) ist ein Maß dafür, wie stark die Werte eines Datensatzes um ihren Mittelwert streuen.
Die Standardabweichung (standard deviation) ist die Quadratwurzel der Varianz.
Die Standardabweichung wird mit dem griechischen Buchstaben \( \sigma \) (Sigma) bezeichnet. Entsprechend wird die Varianz mit \( \sigma^{2} \) bezeichnet.
Angenommen, wir möchten die Körpergrößen zweier Highschool-Basketballteams vergleichen. Die folgende Tabelle enthält die Größen der Spieler und den Mittelwert jeder Mannschaft.
| Spieler 1 | Spieler 2 | Spieler 3 | Spieler 4 | Spieler 5 | Mittelwert | |
|---|---|---|---|---|---|---|
| Team A | 1.89m | 2.10m | 1.75m | 1.98m | 1.85m | 1.914m |
| Team B | 1.94m | 1.90m | 1.97m | 1.89m | 1.87m | 1.914m |
Wie man sieht, ist der Mittelwert beider Teams identisch. Untersuchen wir nun die Varianz der Körpergrößen.
Dazu betrachten wir die Abweichung jedes Wertes vom Mittelwert. Diese Abweichung erhalten wir, indem wir vom jeweiligen Wert den Mittelwert abziehen.
Die Körpergröße wird mit \( x \) bezeichnet, der Mittelwert mit dem griechischen Buchstaben \( \mu \). Die Abweichung vom Mittelwert lautet:
Die folgende Tabelle zeigt die Abweichung vom Mittelwert für jeden Wert.
| Spieler 1 | Spieler 2 | Spieler 3 | Spieler 4 | Spieler 5 | |
|---|---|---|---|---|---|
| Team A | -0.024m | 0.186m | -0.164m | 0.066m | -0.064m |
| Team B | 0.026m | -0.014m | 0.056m | -0.024m | -0.044m |
Einige Werte sind negativ. Um negative Werte zu vermeiden, quadrieren wir die Abweichung vom Mittelwert:
Die folgende Tabelle zeigt die quadrierte Abweichung vom Mittelwert.
| Spieler 1 | Spieler 2 | Spieler 3 | Spieler 4 | Spieler 5 | |
|---|---|---|---|---|---|
| Team A | 0.000576m2 | 0.034596m2 | 0.026896m2 | 0.004356m2 | 0.004096m2 |
| Team B | 0.000676m2 | 0.000196m2 | 0.003136m2 | 0.000576m2 | 0.001936m2 |
Um die Varianz des Datensatzes zu berechnen, bilden wir den Mittelwert aller quadrierten Abweichungen:
Für Team A ergibt sich:
Für Team B ergibt sich:
Wir sehen: Obwohl der Mittelwert beider Teams gleich ist, streuen die Größen in Team A stärker als in Team B. Daher ist Team A „heterogener“ als Team B.
Die Einheit der Varianz ist Quadratmeter (m2). Anschaulicher ist die Standardabweichung, also die Quadratwurzel der Varianz.
Die Standardabweichung der Größen in Team A beträgt 0.12 m.
Die Standardabweichung der Größen in Team B beträgt 0.036 m.
Stell dir nun vor, wir wollten Mittelwert und Varianz aller Basketballspieler an allen Highschools berechnen. Das wäre sehr aufwendig – wir müssten Daten von jedem Spieler jeder Schule sammeln.
Stattdessen können wir Mittelwert und Varianz schätzen, indem wir eine große Stichprobe auswählen und die Berechnungen auf dieser Stichprobe durchführen.
Ein Datensatz von 100 zufällig ausgewählten Spielern sollte für eine genaue Schätzung ausreichen.
Bei der Varianzschätzung unterscheidet sich die Gleichung jedoch leicht: Statt durch \( N \) zu normieren, normieren wir durch \( N-1 \):
Der Faktor \( N-1 \) wird Besselsche Korrektur (Bessel's correction) genannt.
Den mathematischen Beweis findest du z. B. bei visiondummy oder auf Wikipedia.
Normalverteilung (Normal Distribution)
Es stellt sich heraus, dass viele natürliche Phänomene der Normalverteilung (normal distribution) folgen. Die Normalverteilung, auch Gauß-Verteilung (Gaussian) genannt (benannt nach dem Mathematiker Carl Friedrich Gauß), wird durch folgende Gleichung beschrieben:
Die Gauß-Kurve wird im Fall der Normalverteilung auch Wahrscheinlichkeitsdichtefunktion (Probability Density Function, PDF) genannt.
Das folgende Diagramm zeigt die PDFs der Lieferzeit einer Pizza in drei Städten: Stadt „A“, Stadt „B“ und Stadt „C“.
- In Stadt „A“ beträgt die mittlere Lieferzeit 30 Minuten, und die Standardabweichung beträgt 5 Minuten.
- In Stadt „B“ beträgt die mittlere Lieferzeit 40 Minuten, und die Standardabweichung beträgt 5 Minuten.
- In Stadt „C“ beträgt die mittlere Lieferzeit 30 Minuten, und die Standardabweichung beträgt 10 Minuten.
Die Formen der Gauß-Kurven in Stadt „A“ und Stadt „B“ sind identisch, ihre Zentren sind jedoch unterschiedlich. Das bedeutet: In Stadt „A“ wartest du im Mittel 10 Minuten weniger auf deine Pizza, während die Streuung der Lieferzeit gleich bleibt.
Die Zentren der Kurven in Stadt „A“ und Stadt „C“ sind gleich, die Formen jedoch unterschiedlich. Somit ist die mittlere Lieferzeit in beiden Städten gleich, aber die Streuung ist verschieden.
Das folgende Diagramm zeigt typische Anteile der Normalverteilung.
- 68.26% der Lieferzeiten in Stadt A liegen im Bereich \( \mu \pm \sigma \) (25–35 Minuten)
- 95.44% der Lieferzeiten in Stadt A liegen im Bereich \( \mu \pm 2\sigma \) (20–40 Minuten)
- 99.74% der Lieferzeiten in Stadt A liegen im Bereich \( \mu \pm 3\sigma \) (15–45 Minuten)
Üblicherweise sind Messfehler normalverteilt. Der Entwurf des Kalman-Filters setzt eine Normalverteilung der Messfehler voraus.
Zufallsvariablen (Random Variables)
Eine Zufallsvariable (random variable) beschreibt den verborgenen Zustand eines Systems. Eine Zufallsvariable ist die Menge möglicher Werte eines Zufallsexperiments.
Eine Zufallsvariable kann stetig oder diskret sein:
- Eine stetige Zufallsvariable kann jeden Wert innerhalb eines Bereichs annehmen, z. B. die Ladezeit eines Akkus oder die Zeit eines Marathons.
- Eine diskrete Zufallsvariable ist abzählbar, z. B. die Anzahl der Website-Besucher oder die Anzahl der Schüler in einer Klasse.
Eine Zufallsvariable wird durch die Wahrscheinlichkeitsdichtefunktion beschrieben. In diesem Text wird die Wahrscheinlichkeitsdichtefunktion charakterisiert durch:
- \( \mu_{\scriptscriptstyle \!X} \) – den Mittelwert der Messwertfolge.
- \(\sigma_{\scriptscriptstyle \!X}^{2} \) – die Varianz der Messwertfolge.
Schätzung (Estimate), Genauigkeit (Accuracy) und Präzision (Precision)
Eine Schätzung (estimate) beschreibt die Bewertung des verborgenen Zustands eines Systems. Zum Beispiel ist die wahre Position eines Flugzeugs für den Beobachter verborgen. Wir können die Flugzeugposition mit Sensoren wie Radar schätzen. Eine Schätzung kann deutlich verbessert werden, indem mehrere Sensoren genutzt und fortgeschrittene Schätz- und Tracking-Algorithmen eingesetzt werden (z. B. der Kalman-Filter). Jeder gemessene oder berechnete Parameter ist eine Schätzung.
Genauigkeit (accuracy) gibt an, wie nah eine Messung am wahren Wert liegt.
Präzision (precision) beschreibt die Streuung einer Reihe von Messungen desselben Parameters. Genauigkeit und Präzision bilden die Grundlage einer Schätzung.
Die folgende Abbildung veranschaulicht Genauigkeit und Präzision.
Hochpräzise Systeme haben eine geringe Varianz in ihren Messungen (d. h. geringe Unsicherheit), während niedrigpräzise Systeme eine hohe Varianz (d. h. hohe Unsicherheit) aufweisen. Der zufällige Messfehler erzeugt die Varianz.
Systeme mit geringer Genauigkeit werden verzerrte (biased) Systeme genannt, weil ihre Messungen einen eingebauten systematischen Fehler (bias) enthalten.
Der Einfluss der Varianz lässt sich durch Mittelung oder Glättung von Messungen deutlich reduzieren. Wenn wir zum Beispiel die Temperatur mit einem Thermometer messen, das einen zufälligen Messfehler hat, können wir mehrere Messungen durchführen und mitteln. Da der Fehler zufällig ist, liegen einige Messungen über dem wahren Wert und andere darunter. Die Schätzung liegt dann nahe am wahren Wert. Je mehr Messungen wir durchführen, desto näher wird die Schätzung.
Ein verzerrtes Thermometer hingegen erzeugt einen konstanten systematischen Fehler in der Schätzung.
Alle Beispiele in diesem Tutorial gehen von unverzerrten (unbiased) Systemen aus.
Zusammenfassung
Die folgende Abbildung zeigt eine statistische Sicht auf eine Messung.
Eine Messung ist eine Zufallsvariable (random variable), beschrieben durch die Wahrscheinlichkeitsdichtefunktion (Probability Density Function, PDF).
Der Mittelwert der Messungen ist der Erwartungswert (expected value) der Zufallsvariable.
Die Abweichung zwischen dem Mittelwert der Messungen und dem wahren Wert ist die Genauigkeit der Messungen (accuracy), auch bekannt als Bias (bias) oder systematischer Messfehler (systematic measurement error).
Die Streuung der Verteilung ist die Mess-Präzision (precision), auch bekannt als Messrauschen (measurement noise), zufälliger Messfehler (random measurement error) oder Messunsicherheit (measurement uncertainty).