Hat die Maßnahme gewirkt? Unterbrochene Zeitreihe lesen

Kurz

Hat eine Maßnahme gewirkt? Die unterbrochene Zeitreihe fragt, ob sich die Reihe ab einem gewählten Zeitpunkt in der Höhe ändert (Stufe) oder nur an einem Zeitpunkt abweicht (Impuls). Dazu schätzt Statable ein ARIMA-Modell, nur auf Klick.

So geht es in Statable

1. In der Karte „Wie entwickelt sich ein Wert über die Zeit?“ den Abschnitt „Hat die Maßnahme gewirkt?“ öffnen.
2. „Die Maßnahme gilt ab“: den vorher festgelegten Zeitpunkt wählen (Pflicht).
3. „Art der Veränderung“: Stufe, Stufe und Impuls oder nur Impuls.
4. „Wirkung rechnen“. Zuerst die Prüfliste lesen, dann die Zahlen.

Wann diese Auswertung passt

• Es gibt eine Reihe mit gleichen Abständen (mindestens 20 vorhandene Werte, höchstens 10 % Lücken, nicht alle Werte gleich) und einen Zeitpunkt, ab dem etwas anders ist: eine neue Regel, ein neues Angebot, eine Preisänderung.
• Der Zeitpunkt wurde vorher festgelegt. Er ist Pflicht und hat keine Vorgabe.
• Vor und nach dem Zeitpunkt gibt es genug Werte: bei Saison knapp zwei Perioden (2 m − 1 Werte), sonst mindestens 8. Liegt der Zeitpunkt am Rand der Reihe, wäre die Stufe überall gleich; dann rechnet Statable nicht.

Die Wahl

• Art: Stufe (0 davor, 1 ab dem Zeitpunkt; Voreinstellung), Stufe und Impuls (der Impuls ist 1 nur im Zeitpunkt selbst) oder nur Impuls. Eine Stufe fragt nach einer bleibenden Veränderung des Niveaus, ein Impuls nach einem einmaligen Ausschlag.
• Skala: Die Log-Skala geht nur bei Werten über 0. Der Effekt gilt dann als Prozentwert vom Niveau (exp(b) − 1), und die Prognose ist ein Median.
• Modell: p, q, P und Q von 0 bis 5, d bis 2, D bis 1; der Saisonteil nur bei einer Periode von 2 bis 24. Eine Konstante gibt es nur bei d + D = 0 und nur, wenn sie gewählt wird.
• Vorschlag: „Modell aus der Zeit davor vorschlagen“ wählt das Modell nur aus den Werten vor der Maßnahme, damit der Effekt die Wahl nicht beeinflusst. Der Vorschlag rechnet nichts; erst „Vorschlag übernehmen“ macht ihn zur Wahl. Bei Lücken in der Reihe gibt es keinen Vorschlag, das Modell lässt sich dann nur selbst wählen.
• Prognose: Zahl der Zeitpunkte nach dem letzten Wert. Die Prognose nimmt an, dass die Stufe bestehen bleibt und der Impuls nicht wiederkehrt.

Ergebnis lesen

• Die Prüfliste steht vor den Zahlen. Die Warnungen darin gelten immer (siehe unten).
• Der Satz sagt „ging ... einher“, nie „bewirkte“: Mit der Maßnahme ging ein Rückgang oder Anstieg des Niveaus um einen Betrag einher.
• Die Tabelle zeigt für die Stufe und den Impuls die Schätzung (b), den Standardfehler, das 95-%-Intervall (nach Wald) und p. Es gilt z = b/Standardfehler; p kommt aus der Normalverteilung. Auf der Log-Skala steht zusätzlich die Veränderung in Prozent.
• Das Bild zeigt die Reihe mit einer Linie am Zeitpunkt. Darunter stehen die Güte der Anpassung, die Prognose (die Stufe bleibt bestehen) und der Befehl in R.
• Ljung-Box prüft, ob die Fehler des Modells noch zusammenhängen. Die Freiheitsgrade sind Verzögerungen minus geschätzte ARMA-Parameter; Stufe und Impuls zählen nicht mit.

Falle: Zeitpunkt und Ursache

Das Modell misst nur, ob die Reihe sich zum gewählten Zeitpunkt verändert. Ob die Maßnahme die Ursache ist, zeigt es nicht. Alles, was zur selben Zeit geschah, steckt mit im Effekt.

Alle Warnungen

• Ursache offen: Alles, was zur selben Zeit geschah, steckt im Effekt.
• Ohne Vergleichsgruppe bleibt das offen. Eine ähnliche Reihe ohne Maßnahme wäre ein stärkerer Beleg.
• Den Zeitpunkt vorher festlegen. Wer ihn in den Daten sucht und dann testet, bekommt zu kleine p-Werte.
• Gilt die Maßnahme schrittweise, wirkt sie verzögert oder wurde sie erwartet, passt eine Stufe im genauen Zeitpunkt nicht.
• Weniger als 50 Werte: Für ARIMA ist das eine übliche Untergrenze (Box und Jenkins); die Modellwahl ist unsicher.
• Ljung-Box mit p < ,05: Das Modell erfasst nicht das ganze Muster, die Standardfehler sind zu klein, und Intervall und p-Wert des Effekts sind zu optimistisch.
• Ein Koeffizient am Rand (zum Beispiel MA 1 bei −1): Das Modell ist fast instabil, Standardfehler und AICc sind nicht verlässlich. Ein anderes Modell wählen.
• Fehlt für einen Teil der Parameter der Standardfehler, fehlen dort Intervall und p-Wert. Ein einfacheres Modell wählen.
• Log-Skala: Der Effekt gilt als Prozentwert vom Niveau, die Prognose ist ein Median, kein Mittelwert.

Beispiel

Monatliche Zahl getöteter und schwer verletzter Autofahrer in Großbritannien, Gurtpflicht ab Februar 1983: Mit ARIMA(1,0,0)(0,1,1)[12] ergibt sich für die Stufe −323,2 (Standardfehler 73,5), also ein Rückgang um rund 323 je Monat. Doch der Ljung-Box-Test ist auffällig (Q(24) = 78,06, p < ,001): Das Modell erfasst das Muster nicht ganz, die Standardfehler sind eher zu klein, und das Intervall ist zu optimistisch. Ein zweites Beispiel: Beim Nil-Pegel mit einer Stufe im 29. Jahr liegt der MA-Koeffizient bei −0,9999, also am Rand; Statable meldet das Modell als nicht verlässlich.

Ergebnis berichten

Mit der Gurtpflicht ab Februar 1983 ging ein Rückgang des Niveaus um 323 Fahrer je Monat einher (ARIMA(1,0,0)(0,1,1)[12], Stufe b = −323,21, SE = 73,53, z = −4,40, p < ,001, 95-%-KI [−467,3; −179,1]). Ljung-Box Q(24) = 78,06, p < ,001: Die Residuen hängen noch zusammen, das Intervall ist daher zu optimistisch. Ob die Pflicht die Ursache ist, zeigt dieses Modell nicht.

Unterschiede zu SPSS

• Die Standardfehler weichen um 5 bis 10 % ab. Statable nimmt die R-Funktion arima (Maximum Likelihood); SPSS rechnet mit einem anderen Verfahren und einer anderen Varianz. Beispiel: Stufe −323,21 (SE 73,53) in Statable gegen −323,20 (SE 71,16) in SPSS; die Varianz der Fehler ist 19200,3 gegen 19525,9. Die Schätzungen stimmen, p und Intervall können abweichen.
• Die MA-Koeffizienten stehen in der Schreibweise von R (Box und Jenkins); SPSS zeigt sie mit umgekehrtem Vorzeichen.

Quellen

Box, G. E. P., & Tiao, G. C. (1975). Intervention analysis with applications to economic and environmental problems. Journal of the American Statistical Association, 70, 70-79.