Permutationstests sind eine robuste Alternative für eine Vielzahl von Modellen, deren Annahmen verletzt sind. Dazu zählt auch die ANOVA.
Beim Permutationstest nehmen wir unsere Daten und machen erstmal etwas scheinbar Sinnloses: Wir losen die Zugehörigkeit der Personen zu den Gruppen zufällig aus. Im Falle eines rein messwiederholten Designs heißt das: Wir vertauschen zufällig, ob ein Wert zum ersten, zweiten oder dritten Messzeitpunkt gehört.
Das klingt verrückt? Auf den zweiten Blick ist es genial! Für diese durcheinander gewürfelten Daten können wir nämlich eine normale ANOVA berechnen. In der kommt wahrscheinlich nicht viel raus, denn den systematischen Anstieg der Beweglichkeit des Kniegelenkes über die Zeit haben wir durch die Zufallszuordnung zerstört. Aber manchmal ergibt sich eben doch eine zufällige Systematik.
Und um zu testen, ob vielleicht unser gefundener Effekt auch nur so eine Zufallssystematik ist, machen wir das Durcheinanderwürfeln der Gruppenzugehörigkeit und Berechnen der ANOVA nicht nur einmal, sondern z. B. 5000 Mal.
Und jetzt kommt der Trick: Wenn der Haupteffekt der Zeit in unserer ANOVA signifikant – also NICHT zufällig – ist, dann sollte der ursprüngliche F-Wert (die Teststatistik der ANOVA) doch größer sein als die meisten der 5000 ANOVAs auf Basis der durcheinander gewürfelten Daten, oder?
Genauso können wir den p-Wert auf Basis des Permutationstests bestimmen: Wenn der F-Wert der Original-ANOVA größer ist als 4950 F-Werte der 5000 „Zufalls-ANOVAs“, dann ist der p-Wert kleiner als .050.