Heeft de maatregel gewerkt? Een onderbroken tijdreeks lezen

Kort

Heeft een maatregel gewerkt? De onderbroken tijdreeks vraagt of de reeks vanaf een gekozen tijdstip van niveau verandert (stap) of alleen op één tijdstip afwijkt (impuls). Daarvoor schat Statable een ARIMA-model, alleen na een klik.

Zo werkt het in Statable

Open in de kaart “Hoe ontwikkelt een waarde zich in de loop van de tijd?” het onderdeel “Heeft de maatregel gewerkt?”.
“De maatregel geldt vanaf”: kies het vooraf vastgelegde tijdstip (verplicht).
“Soort verandering”: stap, stap en impuls, of alleen impuls.
“Effect berekenen”. Lees eerst de controlelijst, dan de getallen.

Wanneer deze analyse past

Er is een reeks met gelijke tussenruimten (minstens 20 aanwezige waarden, hoogstens 10% hiaten, niet alle waarden gelijk) en een tijdstip vanaf wanneer iets anders is: een nieuwe regel, een nieuw aanbod, een prijswijziging.
Het tijdstip is vooraf vastgelegd. Het is verplicht en heeft geen standaardwaarde.
Er zijn genoeg waarden vóór en na het tijdstip: bij een seizoen bijna twee perioden (2 m − 1 waarden), anders minstens 8. Als het tijdstip aan de rand van de reeks ligt, zou de sprong overal gelijk zijn; Statable rekent dan niet.

De keuzes

Soort: sprong (0 ervoor, 1 vanaf het tijdstip; standaard), sprong en puls (de puls is 1 alleen op het tijdstip zelf) of alleen puls. Een sprong vraagt naar een blijvende verandering van het niveau, een puls naar een eenmalige uitschieter.
Schaal: de logaritmische schaal werkt alleen met waarden boven 0. Het effect telt dan als percentage van het niveau (exp(b) − 1), en de voorspelling is een mediaan.
Model: p, q, P en Q van 0 tot 5, d tot 2, D tot 1; het seizoensdeel alleen bij een periode van 2 tot 24. Een constante bestaat alleen bij d + D = 0 en alleen als ze wordt gekozen.
Suggestie: “Een model voorstellen uit de tijd ervoor” kiest het model alleen uit de waarden vóór de maatregel, zodat het effect de keuze niet beïnvloedt. De suggestie berekent niets; pas “Suggestie overnemen” maakt haar de keuze. Bij hiaten in de reeks is er geen suggestie; het model kan dan alleen zelf worden gekozen.
Voorspelling: aantal tijdstippen na de laatste waarde. De voorspelling gaat ervan uit dat de sprong blijft en de puls niet terugkeert.

Het resultaat lezen

De controlelijst komt vóór de getallen. De waarschuwingen daarin gelden altijd (zie hieronder).
De zin zegt “ging gepaard met”, nooit “veroorzaakte”: de maatregel ging gepaard met een daling of stijging van het niveau met een bepaald bedrag.
Voor de sprong en de puls toont de tabel de schatting (b), de standaardfout, het 95%-interval (volgens Wald) en p. Er geldt z = b/standaardfout; p komt uit de normale verdeling. Op de logaritmische schaal wordt ook de verandering in procenten getoond.
De grafiek toont de reeks met een lijn op het tijdstip. Daaronder staan de kwaliteit van de aanpassing, de voorspelling (de sprong blijft) en het commando in R.
Ljung-Box onderzoekt of de fouten van het model nog samenhangen. De vrijheidsgraden zijn de vertragingen min de geschatte ARMA-parameters; sprong en puls tellen niet mee.

Valkuil: tijdstip en oorzaak

Het model meet alleen of de reeks verandert op het gekozen tijdstip. Het laat niet zien of de maatregel de oorzaak is. Alles wat tegelijk gebeurde, hoort bij het effect.

Alle waarschuwingen

Oorzaak open: alles wat tegelijk gebeurde, hoort bij het effect.
Zonder vergelijkingsgroep blijft dit open. Een vergelijkbare reeks zonder de maatregel zou sterkere aanwijzingen geven.
Leg het tijdstip vooraf vast. Wie het in de data zoekt en dan toetst, krijgt te kleine p-waarden.
Als de maatregel geleidelijk wordt ingevoerd, met vertraging werkt of verwacht werd, past een sprong op het exacte tijdstip niet.
Minder dan 50 waarden: dit is een gebruikelijke ondergrens voor ARIMA (Box en Jenkins); de modelkeuze is onzeker.
Ljung-Box met p < ,05: het model vangt het patroon niet helemaal op, de standaardfouten zijn te klein, en het interval en de p-waarde van het effect zijn te optimistisch.
Een coëfficiënt aan de rand (bijvoorbeeld MA 1 bij −1): het model is bijna instabiel, de standaardfouten en de AICc zijn niet betrouwbaar. Kies een ander model.
Als de standaardfout voor een deel van de parameters ontbreekt, ontbreken daar interval en p-waarde. Kies een eenvoudiger model.
Logaritmische schaal: het effect telt als percentage van het niveau, de voorspelling is een mediaan, geen gemiddelde.

Voorbeeld

Maandelijks aantal omgekomen of ernstig gewonde bestuurders in Groot-Brittannië, autogordelwet vanaf februari 1983: met ARIMA(1,0,0)(0,1,1)[12] is de sprong −323,2 (standaardfout 73,5), een daling van ongeveer 323 per maand. Maar de Ljung-Box-toets valt op (Q(24) = 78,06, p < ,001): het model vangt het patroon niet helemaal op, de standaardfouten zijn waarschijnlijk te klein en het interval is te optimistisch. Een tweede voorbeeld: bij het waterpeil van de Nijl met een sprong in jaar 29 is de MA-coëfficiënt −,9999, dus aan de rand; Statable meldt het model als niet betrouwbaar.

Het resultaat rapporteren

Met de autogordelwet van februari 1983 ging een daling van het niveau met 323 bestuurders per maand gepaard (ARIMA(1,0,0)(0,1,1)[12], sprong b = −323,21, SE = 73,53, z = −4,40, p < ,001, 95%-BI [−467,3; −179,1]). Ljung-Box Q(24) = 78,06, p < ,001: de residuen hangen nog samen, dus het interval is te optimistisch. Dit model laat niet zien of de wet de oorzaak is.

Verschillen met SPSS

De standaardfouten verschillen 5 tot 10%. Statable gebruikt de R-functie arima (maximum likelihood); SPSS gebruikt een andere methode en een andere variantie. Voorbeeld: sprong −323,21 (SE 73,53) in Statable tegenover −323,20 (SE 71,16) in SPSS; de foutvariantie is 19200,3 tegenover 19525,9. De schattingen komen overeen; p en interval kunnen verschillen.
De MA-coëfficiënten worden geschreven zoals R het doet (Box en Jenkins); SPSS toont ze met het tegengestelde teken.

Bronnen

Box, G. E. P., & Tiao, G. C. (1975). Intervention analysis with applications to economic and environmental problems. Journal of the American Statistical Association, 70, 70-79.