Wie man den Regularisierungsparameter beim Unfolding auswählt und die Unsicherheiten behandelt

Die Auswahl des Regularisierungsparameters im Rahmen des Unfoldings ist eine zentrale Herausforderung bei der Analyse von Daten, insbesondere bei der Untersuchung von Verteilungen aus experimentellen Messungen. Aus den verfügbaren Daten lässt sich lediglich eine obere Grenze für den Regularisierungsparameter ableiten: Die entfaltete Verteilung muss innerhalb der statistischen Unsicherheiten mit dem beobachteten Histogramm übereinstimmen. Das Hauptziel von Unfolding-Verfahren ist es, diese Grenze zu erreichen und Schwankungen zu eliminieren, die nur mit Rauschen kompatibel sind. Dabei muss man sich jedoch bewusst sein, dass auf diese Weise echte, interessante Strukturen verloren gehen können, die mit höherer Statistik aufgelöst werden könnten.

Es existieren verschiedene Methoden zur Festlegung des Regularisierungsparameters. In dieser Diskussion konzentrieren wir uns auf drei gängige Ansätze, die in der Praxis verwendet werden.

Eine weitere Methode ist die Trunkierung der Eigenvektor-Lösung. Wie bereits gezeigt, kann das Unfolding-Ergebnis in orthogonale, statistisch unabhängige Komponenten zerlegt werden. Kleine Eigenwert-Komponenten führen jedoch zu unerwünschten Oszillationen. Eine glatte Lösung wird erhalten, indem alle Beiträge mit Eigenwerten unterhalb eines bestimmten Schwellenwertes abgeschnitten werden. Dies wird als Trunkierte Singulärwertzerlegung (TSVD) bezeichnet. Der Wert des Eigenwertes λk wird so gewählt, dass nur die dominierenden Eigenvektoren mit signifikanten Amplituden beibehalten werden. Dieser Trunkierungsansatz hat eine Entsprechung im Maximum-Likelihood-Verfahren (ML).

Es ist auch wichtig zu verstehen, dass das Regularisieren die Fehler der entfalteten Verteilung beeinflusst. Das Regularisieren führt zu einer Verzerrung und verringert die Fehler, die aus der Anpassung an die Messdaten resultieren. Die Höhe von Spitzen wird reduziert, die Breite wird vergrößert und Täler können teilweise ausgefüllt werden. Diese Verzerrung kann als Bias bezeichnet werden. Ein höherer Regularisierungsgrad reduziert die Fehler, erhöht jedoch gleichzeitig den Bias. Die tatsächlichen Unsicherheiten hängen daher sowohl vom nominalen Fehler als auch vom Bias ab. Die nominalen Fehler, die häufig in den Diagrammen der entfalteten Histogramme angezeigt werden, sind häufig irreführend, da die Fehler korreliert sind.

Zudem sind Bootstrap-Resampling-Techniken ein weiteres Verfahren zur Fehlerberechnung. Hierbei wird das ursprüngliche Datensample als repräsentativ für die wahre, gefaltete Verteilung angesehen. Aus den beobachteten Ereignissen werden N Ereignisse mit Zurücklegen gezogen, die als Bootstrap-Stichprobe verwendet werden. Diese Stichprobe wird dann histogrammiert und entfaltet. Durch die Wiederholung dieses Verfahrens können Fluktuationen und Konfidenzintervalle für die entfalteten Verteilungen extrahiert werden.

Die Unsicherheiten des Antwortmatrixes sind oft vernachlässigbar, aber falls dies nicht der Fall ist, kann der einfachste Weg zur Berücksichtigung darin bestehen, Bootstrap-Proben der Antwortmatrix zu erzeugen.

Ein weiterer bedeutender Aspekt ist die Verwendung der EM-Methode (Expectation-Maximization) mit frühem Stopp. Diese Methode hat sich in Vergleichen mit anderen Regularisierungsansätzen als besonders effektiv erwiesen. Das EM-Verfahren produziert die Maximum-Likelihood-Schätzungen (MLE) für das entfaltete Histogramm und unterdrückt die Schwankungen, die auftreten, wenn der MLE durch iteratives Anpassen der Verteilung erreicht wird. Der Schlüssel liegt dabei im Festlegen der Startverteilung und der Abbruchbedingung. Dies gewährleistet, dass die Iterationen so lange fortgesetzt werden, bis das Ergebnis mit den Daten kompatibel ist.

Wie man die Übereinstimmung von Daten mit einer Verteilung prüft: Die Bedeutung von Goodness-of-Fit-Tests

Goodness-of-Fit (GOF)-Tests sind statistische Verfahren, die dazu dienen, die Übereinstimmung einer Stichprobe mit einer vorgegebenen Verteilung zu überprüfen. Diese Tests sind von zentraler Bedeutung in der wissenschaftlichen Analyse, da sie es ermöglichen, die Gültigkeit von Hypothesen zu testen und systematische Fehler in experimentellen Ergebnissen zu erkennen. Obwohl es verschiedene Methoden gibt, sind der χ²-Test und verwandte Verfahren die häufigsten Instrumente zur Bewertung von Modellen und Hypothesen.

Die grundlegende Idee eines GOF-Tests besteht darin, festzustellen, ob die beobachteten Daten mit einer theoretischen Verteilung vereinbar sind. Dies kann auf den ersten Blick einfach erscheinen, aber ohne eine klare Vorstellung von alternativen Verteilungen ist es schwierig, den geeigneten Test zu wählen. Ein einfaches Beispiel aus der Praxis ist das Überprüfen eines Roulettes: Wir gehen davon aus, dass jedes der Zahlen gleich wahrscheinlich sein sollte. Ein Roulette, bei dem alle Zahlen nacheinander erscheinen, könnte diesen Test bestehen, entspricht jedoch nicht der Vorstellung eines fairen Spiels. In der Praxis erwarten wir jedoch, dass manche Zahlen häufiger auftreten als andere, was wir durch einen GOF-Test überprüfen würden.

Das Wichtigste bei der Wahl eines GOF-Tests ist, dass er nicht nur dazu dient, Hypothesen zu bestätigen, sondern auch dazu, unbekannte systematische Fehler zu entdecken. Ein konkretes Beispiel ist die Messung der Lebensdauer instabiler Teilchen. Wir wissen, dass die Lebensdauer exponentiell verteilt ist, aber der Einsatz eines GOF-Tests kann uns auf Abweichungen hinweisen, die auf eine Verunreinigung durch Hintergrundereignisse, eine ungenaue Simulation der Detektoreigenschaften oder technische Probleme hinweisen könnten.

Ein gängiger Testwert ist der χ²-Wert, der ursprünglich eingeführt wurde, um Parameter in Funktionen so anzupassen, dass die Abweichungen zwischen den experimentellen Daten und den theoretischen Vorhersagen minimiert werden. Im Rahmen der Methode der kleinsten Quadrate werden die Parameter so eingestellt, dass die Summe der quadrierten Abweichungen minimal wird. Wenn die Parameterwerte abweichen, wird der χ²-Wert größer, was auf eine geringere Übereinstimmung zwischen Modell und Daten hindeutet.

Wichtig ist auch die Erkenntnis, dass der Likelihood-Wert L0 der Nullhypothese kein zuverlässiger Teststatistik ist, da er in einigen Fällen zu irreführenden Ergebnissen führen kann. Ein Beispiel hierfür zeigt sich in der Abbildung 10.6, wo zwei Stichproben aus einer normalverteilten Nullhypothese entnommen wurden. Eine der Stichproben, die enger um den Mittelwert konzentriert ist, hat zwar eine höhere Likelihood, passt jedoch schlechter zur Verteilung. Eine Stichprobe, bei der alle Beobachtungen im Zentrum liegen, würde die Likelihood per Definition maximieren, doch in diesem Fall stützt sie eindeutig nicht die Nullhypothese, sondern eher eine schmale Normalverteilung.

Die von uns behandelten Tests sind in der Regel distributionsfrei, das heißt, sie sind auf beliebige Verteilungen anwendbar, die durch die Nullhypothese H0 beschrieben werden. Es gibt jedoch auch spezifische Tests für bestimmte Verteilungen wie die Normal-, Uniform- oder Exponentialverteilung, die in den meisten physikalischen Anwendungen von geringerer Bedeutung sind und hier nicht weiter behandelt werden. Ebenso werden Tests, die mit Ordnungsstatistiken arbeiten, meist in Zeitreihenanalysen verwendet, sind jedoch in den meisten physikalischen Anwendungen weniger leistungsfähig.

Im praktischen Umgang mit dem χ²-Test ist es wichtig, einige Voraussetzungen zu berücksichtigen. Die Vorhersagen, die mit den experimentellen Daten verglichen werden, sollten idealerweise lineare Funktionen der Parameter sein, und die Fehler sollten normalverteilt und unabhängig voneinander sein. Wenn diese Bedingungen nicht erfüllt sind, muss die χ²-Verteilung mit einer Monte-Carlo-Simulation angepasst werden, um eine gültige p-Wert-Berechnung zu erhalten. Die χ²-Tests sind in ihrer Anwendung vielfältig und haben sich in vielen Bereichen der Physik und anderen Wissenschaften als äußerst nützlich erwiesen.

Wie der Smooth-Test die Hypothesenprüfung revolutioniert: Eine Alternative zum χ²-Test

Der Smooth-Test, von Jerzy Neyman im Jahr 1937 eingeführt, stellt eine bedeutende Weiterentwicklung in der statistischen Hypothesenprüfung dar. Er wurde als Alternative zum klassischen χ²-Test entwickelt, indem er die Sensitivität für Abweichungen von der Nullhypothese (H0) verringert, die in mehreren aufeinanderfolgenden Bins sowohl positiv als auch negativ sein können. Neyman betonte, dass der Forscher bei der Hypothesenprüfung stets im Hinterkopf behalten müsse, welche Abweichungen von der Nullhypothese möglich sind, um so die Wahrscheinlichkeitsdichtefunktion (p.d.f.) der alternativen Hypothese teilweise festzulegen.

Der Begriff "Smooth-Test" rührt daher, dass er im Gegensatz zum χ²-Test die Nullhypothese H0 bei verschwindenden Parameterwerten "sanft" annähert. Konkret wird H0 in diesem Test wieder als die Annahme betrachtet, dass die transformierten Stichprobendaten nach der Probability Integral Transform (PIT), zi = F0(xi), einer gleichmäßigen Verteilung im Intervall [0, 1] folgen. Ein wesentlicher Aspekt des Smooth-Tests ist, dass er alternative Verteilungen der Form

Der Smooth-Test prüft dann, ob der Wert des Teststatistikums $r_k^2$ groß genug ist, um die Nullhypothese abzulehnen. Für eine Stichprobe der Größe $N$ lautet das Teststatistikum

Das ist plausibel, da ein großer absoluter Wert von $t_i$ auf einen starken Beitrag des Polynoms $\pi_i$ zur beobachteten Verteilung hinweist, was gleichzeitig zu einem großen Wert von $\theta_i^2$ führen würde. Unter der Nullhypothese ergibt sich für $i \geq 1$ die Erwartung $\langle t_i \rangle = 0$, was durch die Orthonormalität der $\pi_i$ und den zentralen Grenzwertsatz belegt wird.

Die Effektivität des Smooth-Tests zeigt sich besonders im Vergleich zum klassischen χ²-Test. Der χ²-Test ist auf eine feste Anzahl von Bins angewiesen und kann niedrigfrequente Variationen schlecht erfassen. Der Smooth-Test hingegen untersucht nicht nur Strukturen mit einer festen Frequenz, sondern auch alle Frequenzen bis zum Grad $k$. Daher bietet der Smooth-Test in den meisten Fällen eine genauere Analyse der Daten und ist gegenüber dem χ²-Test überlegen.

Ein weiteres bemerkenswertes Merkmal des Smooth-Tests ist die Verwendung der Exponentialform in der alternativen Verteilung:

Die Flexibilität und Robustheit des Smooth-Tests haben ihn zu einer bevorzugten Methode in vielen Anwendungsbereichen gemacht. Dennoch ist er nicht immer die beste Wahl für alle Arten von alternativen Hypothesen, insbesondere wenn die Alternativen eine komplexe Struktur aufweisen. Für solche Fälle kann es sinnvoll sein, den Test weiter anzupassen oder mit anderen Methoden zu kombinieren, um zuverlässigere Ergebnisse zu erzielen.

Die genaue Auswahl des Teststatistikums und der Parameter hängt stark von der Natur der Daten und der vermuteten Alternativen ab. Hier spielen nicht nur die Parameter der alternativen Verteilungen, sondern auch die spezifischen Eigenschaften der Daten eine entscheidende Rolle. Ein tiefes Verständnis der Daten und der verwendeten Modelle ist daher unerlässlich, um den Test korrekt anzuwenden und die Ergebnisse richtig zu interpretieren.