Hat sich etwas verändert? (vorher/nachher, gepaarter t-Test)

Kurz

Dieselben Personen wurden zweimal gemessen (etwa Wissenstest vor und nach dem Kurs); geprüft wird, ob sich die Werte im Schnitt verändert haben. Gewählt werden die Spalte der ersten und die der zweiten Messung. Statable rechnet den t-Test für gepaarte Stichproben und gibt die Effektstärken dz und dav mit 95 %-Konfidenzintervall an.

Voraussetzungen

• Beide Spalten sind Zahlen derselben Personen, eine Zeile je Person (bei langen Daten hilft „Umstrukturieren“).
• Die Veränderungen sind ohne deutliche Schiefe und Ausreißer; dann hält der t-Test auch bei wenigen Personen. Eine feste Mindestzahl gibt es dafür nicht.
• Mindestens 3 Personen mit beiden Angaben; die Veränderung ist nicht bei allen gleich groß.

Ergebnis lesen

• Unterschiede sind nachher − vorher: Positiv heißt gestiegen. Das Blatt zeigt beide Mittelwerte, die mittlere Veränderung mit 95 %-Konfidenzintervall, t, Freiheitsgrade und p.
• dz ist die mittlere Veränderung geteilt durch die SD der Veränderungen; dav teilt durch den Mittelwert der beiden SD und ist mit d aus Zwei-Gruppen-Studien vergleichbar. Darum folgt die Einordnung (Faustregel für d: 0,2 klein, 0,5 mittel, 0,8 groß) dav. Für dz passen diese Marken nicht: dz fällt umso größer aus, je stärker vorher und nachher zusammenhängen; es ist das Maß für die Teststärke (Lakens 2013).
• Das Liniendiagramm verbindet je Person vorher und nachher; so zeigt sich, ob die meisten Linien in dieselbe Richtung laufen.

Hinweise im Blatt

• Bei n < 20 erscheint „Kleine Stichprobe“: Das Ergebnis ist dann unsicherer. Einen Rangtest legt Statable schon vor dem Rechnen nahe, wenn die Veränderungen deutlich schief sind, Ausreißer haben oder die Messung gestuft ist (ordinal oder höchstens 7 Werte). Gewählt wird er unter dem Ergebnis mit „Ohne Normalverteilung (Rangtest)“: der Wilcoxon-Test, der nur die Rangfolge der Veränderungen nutzt (mit Medianen, Satz, Effektstärke r und Zeile für die Arbeit). Dazu steht der Pseudo-Median der Veränderung (Hodges-Lehmann-Schätzer: Median der Mittelwerte aus je zwei Veränderungen) mit 95 %-Konfidenzintervall.
• Exakt oder genähert: Bei weniger als 50 Werten je Gruppe (Wilcoxon: weniger als 50 Paare mit Unterschied) rechnet Statable den p-Wert exakt, auch bei gleichen Werten (bedingte Verteilung); darüber gilt die Normalnäherung. Beim Wilcoxon-Test entfallen Paare ohne Unterschied vor dem Ranken (wie in SPSS). R rechnet im exakten Test anders: Es rankt Paare ohne Unterschied mit (Pratt-Verfahren). Darum können Werte von R abweichen. Mit kleinen Fallzahlen lässt sich ein Niveau von genau 95 % nicht erreichen; Statable nennt dann das erreichte Niveau.
• Ohne Vergleichsgruppe zeigt die Messung nur, dass sich etwas verändert hat, nicht wodurch.
• Mit Vergleichsgruppe (Kurs gegen keinen Kurs) ist die Kovarianzanalyse (ANCOVA) der passende Weg: nachher wird nach Gruppe verglichen, vorher als Kovariate. Unter dem Ergebnis führt „Gibt es eine Kontroll- und eine Versuchsgruppe?“ direkt zu „Unterscheiden sich Gruppen?“ mit dem Vorher-Wert als Kontrollvariable.

t(13) = 5,10, p < ,001, dz = 1,36, 95 %-KI [0,61; 2,09], dav = 0,77

Für Fachleute

Wilcoxon: Statable rechnet ihn selbst (bei weniger als 50 Veränderungen ohne 0 der exakte p-Wert, auch bei gleichen Veränderungen, sonst Normalnäherung mit Bindungskorrektur, ohne Stetigkeitskorrektur; gegen R wilcox.test und PSPP NPAR TESTS /WILCOXON geprüft).

Weitere Wege

• Auf Gleichwertigkeit prüfen (Äquivalenztest, TOST): ob die Veränderung kleiner ist als eine vorher festgelegte Grenze; siehe „Äquivalenztest (TOST)“.
• Verlässliche Veränderung je Person (Reliable Change Index): welche Personen sich stärker verändert haben, als der Messfehler erwarten lässt; siehe „Reliable Change Index“.
• Sind beide Spalten Ja/Nein, rechnet Statable von selbst den McNemar-Test (exakt) statt des t-Tests; siehe „McNemar-Test und Cochran-Q“.

Typische Beispiele

• Angst bei denselben Studierenden vor und nach einem Kurs: gepaarter t-Test.
• Schmerzwert vor und nach einer Behandlung bei 12 Personen: Rangtest (Wilcoxon).
• Reaktionszeit ohne und mit Koffein bei derselben Person: gepaarter t-Test.