Trennt eine Zahl zwei Gruppen? ROC-Kurve und Schwellenwert

Kurz

Ein Screening liefert Punkte, und es gibt zwei Gruppen (zum Beispiel mit und ohne Diagnose). Gefragt ist: Wie gut trennt die Punktzahl die Gruppen, und ab welchem Wert soll man auffällig sagen? Beim Gruppenvergleich mit zwei Gruppen steht unter dem Ergebnis der aufklappbare Abschnitt „Trennt die Zahl die beiden Gruppen? (ROC, Fläche unter der Kurve)“.

Was er zeigt

• AUC (Fläche unter der Kurve) mit 95 %-Konfidenzintervall und p: die Wahrscheinlichkeit, dass eine zufällig gezogene Person der „positiven“ Gruppe einen höheren Wert hat als eine aus der anderen. ,50 ist Zufall, 1 ist vollständige Trennung.
• Die ROC-Kurve: für jeden möglichen Schwellenwert Sensitivität gegen 1 − Spezifität. Je weiter die Kurve von der Diagonale nach links oben steht, desto besser.
• Bester Schwellenwert nach Youden mit der Sensitivität und der Spezifität, die damit erreicht werden. Als „positiv“ gilt die Gruppe mit dem höheren Mittelwert; der Schwellenwert heißt darum „X oder mehr“. Der Youden-Index J = Sensitivität + Spezifität − 1 ist dort am größten.

Der Knopf „Kurve und Schwellen in den Befehlen öffnen“ zeigt die Rechnung in den Befehlen. Das Diagramm lässt sich über „Export“ als PNG, SVG oder PDF speichern oder als Bild kopieren. Wer den Zusatz aufklappt, bekommt die Kurve auch als Abbildung im Bericht (PDF, Word); der Schalter „ROC-Kurve im Bericht zeigen“ nimmt sie wieder heraus.

Vorsicht

• Der Schwellenwert ist an genau diesen Daten gewählt. In neuen Daten schneidet er meist schlechter ab; ohne zweite Stichprobe ist er nur ein Vorschlag.
• Ob eher Sensitivität oder Spezifität zählt, hängt von den Folgen eines Fehlers ab. Eine Krankheit nicht zu erkennen wiegt anders als ein unnötiger Folgetest. Das weiß der Youden-Index nicht.
• Bei kleinen Gruppen ist das Intervall breit.

Typisches Beispiel

Ein Kurztest mit 0 bis 30 Punkten bei 40 Personen mit und 80 ohne Demenzdiagnose: AUC = ,91. Niedrige Werte sprechen hier für die Diagnose: 24 oder weniger zählt als auffällig, mit 85 % Sensitivität und 88 % Spezifität. Statable nimmt die Gruppe mit dem höheren Mittelwert als positiv und nennt denselben Schnitt darum als „25 oder mehr“ für „ohne Diagnose“ - Sensitivität und Spezifität tauschen dabei die Rollen.

AUC = ,91, 95 %-KI [,86; ,96], p < ,001; Schwellenwert ≤ 24, Sensitivität = ,85, Spezifität = ,88, J = ,73

Liegt der Test schon als Ja/Nein vor (positiv/negativ), gehört die Frage in die Kreuztabelle; siehe „Kommt etwas in Gruppen unterschiedlich oft vor?“, Abschnitt zur Testgüte.