Mit α-Inflation bezeichnet man den Umstand, dass bei mehreren Tests (gleicher Datensatz) auf einem vorher festgelegtem Niveau α die Wahrscheinlichkeit, bei mindestens einem dieser Tests den Fehler 1. Art zu begehen (siehe auch family-wise error rate), mit zunehmender Anzahl der Tests ebenfalls zunimmt und somit größer wird als das vorher festgelegte α.
Falls du es genauer wissen möchtest:
Bei k Tests auf dem Niveau α beträgt die Wahrscheinlichkeit, mindestens einmal den Fehler 1. Art zu begehen, gerade 1 – (1- α)k. Bei 5 Tests mit α =.05 läge diese Wahrscheinlichkeit also schon bei 1 – (1 – .05)5 = .226, also knapp 23%, bei 10 Tests bei knapp 40%.
Und jetzt noch mal in einfach:
Wenn wir nicht nur einen, sondern mehrere statistische Tests rechnen, dann steigt mit der Anzahl der Tests auch die Wahrscheinlichkeit, sich mindestens einmal fälschlicherweise für die Alternativhypothese zu entscheiden, obwohl die Nullhypothese gilt (beispielsweise entscheiden wir uns dafür, dass die neue OP-Methode im Vergleich zur Standardbehandlung viel weniger Komplikationen erzeugt, obwohl das tatsächlich nicht der Fall ist).
Was kann man dagegen tun?
Einer α-Inflation können wir entgegenwirken, indem wir im Rahmen multipler Tests den p-Wert, ab dem wir uns für die Alternativhypothese entscheiden, für jeden einzelnen Test korrigieren (herabsetzen). Die einfachste (aber auch sehr strenge) Möglichkeit ist die Bonferroni-Korrektur, es gibt aber noch viele andere.
Was bedeutet das in der Praxis?
Wenn mehrere Tests durchgeführt werden sollen, dann solltest du eine α-Inflation durch eine entsprechende Korrektur verhindern. Generell solltest du beim mehrfachen Testen möglichst hypothesen- und theoriegeleitet vorgehen und nicht einfach explorativ „alles mit jedem“ vergleichen. Ansonsten läuft man Gefahr, dass früher oder später natürlich (mindestens) einer der Tests signifikant wird, ohne dass relevante Effekte vorliegen.
Das beste Vorgehen ist, immer schon vor dem Testen Hypothesen zu generieren, indem du in Schritt 1 die Literatur intensiv liest, in Schritt 2 die daraus zu erwartende Effekte ableitest und dann in Schritt 3 die family-wise error rate (z. B. durch die Bonferroni-Korrektur) entsprechend kontrollierst.