Autoregressiv Flytting Gjennomsnittet Varians

8.3 Autoregressive modeller I en multiple regresjonsmodell prognose vi variabelen av interesse ved hjelp av en lineær kombinasjon av prediktorer. I en autoregresjonsmodell forutsier vi variabelen av interesse ved å bruke en lineær kombinasjon av tidligere verdier av variabelen. Begrepet auto-regresjon indikerer at det er en regresjon av variabelen mot seg selv. Dermed kan en autoregressiv modell av orden p skrives som hvor c er en konstant og et er hvit støy. Dette er som en multiple regresjon, men med forsinkede verdier av yt som prediktorer. Vi refererer til dette som en AR (p) modell. Autoregressive modeller er bemerkelsesverdig fleksible ved å håndtere et bredt spekter av forskjellige tidsseriemønstre. De to seriene i figur 8.5 viser serier fra en AR (1) modell og en AR (2) modell. Endring av parametrene phi1, prikker, phip resulterer i forskjellige tidsseriemønstre. Variasjonen av feilbegrepet et vil bare endre omfanget av serien, ikke mønstrene. Figur 8.5: To eksempler på data fra autoregressive modeller med forskjellige parametere. Venstre: AR (1) med yt 18 -0.8y et. Høyre: AR (2) med yt 8 ​​1.3y -0.7y et. I begge tilfeller er et normalt distribuert hvit støy med gjennomsnittlig null og varians en. For en AR (1) modell: Når phi10, yt er ekvivalent med hvit støy. Når phi11 og c0, yt er ekvivalent med en tilfeldig spasertur. Når phi11 og cne0, yt er ekvivalent med en tilfeldig gang med drift Når phi1tt0, yt har en tendens til å svinge mellom positive og negative verdier. Vi begrenser normalt autoregressive modeller til stasjonære data, og noen begrensninger på parameterverdiene er derfor nødvendig. For en AR (1) modell: -1 lt phi1 lt 1. For en AR (2) modell: -1 lt phi2 lt 1, phi1phi2 lt 1, phi2-phi1 lt 1. Når pge3 er restriksjonene mye mer kompliserte. R tar seg av disse restriksjonene når du estimerer en modell.2.1 Flytte gjennomsnittlige modeller (MA modeller) Tidsseriemodeller kjent som ARIMA-modeller kan inneholde autoregressive vilkår og eller flytte gjennomsnittlige vilkår. I uke 1 lærte vi et autoregressivt uttrykk i en tidsseriemodell for variabelen x t er en forsinket verdi på x t. For eksempel er et lag 1 autoregressivt uttrykk x t-1 (multiplisert med en koeffisient). Denne leksjonen definerer glidende gjennomsnittlige vilkår. En glidende gjennomsnittlig term i en tidsseriemodell er en tidligere feil (multiplisert med en koeffisient). La (wt overset N (0, sigma2w)), noe som betyr at w t er identisk, uavhengig distribuert, hver med en normalfordeling med gjennomsnittlig 0 og samme varians. Den første ordre-flytende gjennomsnittsmodellen, betegnet med MA (1), er (xt mu wt theta1w) Den andre ordens bevegelige gjennomsnittsmodellen, betegnet med MA (2), er (xt mu wt theta1w theta2w) , betegnet med MA (q) er (xt mu wt theta1w theta2w punkter thetaqw) Merknad. Mange lærebøker og programvare definerer modellen med negative tegn før betingelsene. Dette endrer ikke de generelle teoretiske egenskapene til modellen, selv om den ikke flipper de algebraiske tegnene på estimerte koeffisientverdier og (unsquared) termer i formler for ACFer og avvik. Du må sjekke programvaren for å verifisere om negative eller positive tegn har blitt brukt for å skrive riktig estimert modell. R bruker positive tegn i sin underliggende modell, som vi gjør her. Teoretiske egenskaper av en tidsrekkefølge med en MA (1) modell Merk at den eneste ikke-nullverdien i teoretisk ACF er for lag 1. Alle andre autokorrelasjoner er 0. Således er en prøve-ACF med en signifikant autokorrelasjon bare ved lag 1 en indikator på en mulig MA (1) modell. For interesserte studenter er bevis på disse egenskapene et vedlegg til denne utdelingen. Eksempel 1 Anta at en MA (1) modell er x t10 w t .7 w t-1. hvor (wt overset N (0,1)). Dermed er koeffisienten 1 0,7. Den teoretiske ACF er gitt av Et plott av denne ACF følger. Plottet som nettopp er vist er den teoretiske ACF for en MA (1) med 1 0,7. I praksis vil en prøve vanligvis ikke gi et slikt klart mønster. Ved hjelp av R simulerte vi n 100 prøveverdier ved hjelp av modellen x t 10 w t .7 w t-1 hvor w t iid N (0,1). For denne simuleringen følger en tidsserie-plott av prøvedataene. Vi kan ikke fortelle mye fra denne plottet. Prøven ACF for de simulerte dataene følger. Vi ser en spike i lag 1 etterfulgt av generelt ikke signifikante verdier for lags forbi 1. Merk at prøven ACF ikke samsvarer med det teoretiske mønsteret til den underliggende MA (1), som er at alle autokorrelasjoner for lags forbi 1 vil være 0 . En annen prøve ville ha en litt annen prøve-ACF vist nedenfor, men vil trolig ha de samme brede funksjonene. Terapeutiske egenskaper av en tidsserie med en MA (2) modell For MA (2) modellen er teoretiske egenskaper følgende: Merk at de eneste ikke-nullverdiene i teoretisk ACF er for lags 1 og 2. Autokorrelasjoner for høyere lags er 0 . En ACF med signifikant autokorrelasjoner på lags 1 og 2, men ikke-signifikante autokorrelasjoner for høyere lags indikerer en mulig MA (2) modell. iid N (0,1). Koeffisientene er 1 0,5 og 2 0,3. Fordi dette er en MA (2), vil den teoretiske ACF bare ha null nullverdier ved lags 1 og 2. Verdier av de to ikke-null-autokorrelasjonene er Et plot av teoretisk ACF følger. Som nesten alltid er tilfellet, vil prøvedataene ikke oppføre seg så perfekt som teori. Vi simulerte n 150 utvalgsverdier for modellen x t 10 w t .5 w t-1 .3 w t-2. hvor det er N (0,1). Tidsserien av dataene følger. Som med tidsserien for MA (1) eksempeldata, kan du ikke fortelle mye om det. Prøven ACF for de simulerte dataene følger. Mønsteret er typisk for situasjoner der en MA (2) modell kan være nyttig. Det er to statistisk signifikante pigger på lags 1 og 2 etterfulgt av ikke-signifikante verdier for andre lags. Merk at på grunn av prøvetakingsfeil, samsvarte ACF ikke nøyaktig det teoretiske mønsteret. ACF for General MA (q) Modeller En egenskap av MA (q) - modeller generelt er at det finnes ikke-null autokorrelasjoner for de første q lagene og autokorrelasjonene 0 for alle lagene gt q. Ikke-entydighet av sammenhengen mellom verdier av 1 og (rho1) i MA (1) Modell. I MA (1) - modellen, for en verdi på 1. Den gjensidige 1 1 gir samme verdi. For eksempel, bruk 0,5 for 1. og bruk deretter 1 (0,5) 2 for 1. Du får (rho1) 0,4 i begge tilfeller. For å tilfredsstille en teoretisk begrensning kalt invertibility. vi begrenser MA (1) - modeller for å ha verdier med absolutt verdi mindre enn 1. I eksemplet som er gitt, vil 1 0,5 være en tillatelig parameterverdi, mens 1 10,5 2 ikke vil. Invertibility av MA modeller En MA-modell sies å være invertibel hvis den er algebraisk tilsvarer en konvergerende uendelig rekkefølge AR-modell. Ved konvergering mener vi at AR-koeffisientene reduseres til 0 da vi beveger oss tilbake i tid. Invertibility er en begrensning programmert i tidsserier programvare som brukes til å estimere koeffisientene av modeller med MA termer. Det er ikke noe vi ser etter i dataanalysen. Ytterligere opplysninger om inverterbarhetsbegrensningen for MA (1) - modeller er gitt i vedlegget. Avansert teorienotat. For en MA (q) modell med en spesifisert ACF, er det bare en inverterbar modell. Den nødvendige betingelsen for invertibilitet er at koeffisientene har verdier slik at ligningen 1- 1 y-. - q y q 0 har løsninger for y som faller utenfor enhetens sirkel. R-kode for eksemplene I eksempel 1, plotte vi den teoretiske ACF av modellen x t10 w t. 7w t-1. og deretter simulert n 150 verdier fra denne modellen og plottet prøve tidsseriene og prøven ACF for de simulerte dataene. R-kommandoene som ble brukt til å plotte den teoretiske ACF var: acfma1ARMAacf (mac (0,7), lag. max10) 10 lag av ACF for MA (1) med theta1 0,7 lags0: 10 skaper en variabel som heter lags som varierer fra 0 til 10. plot (lags, acfma1, xlimc (1,10), ylabr, typh, main ACF for MA (1) med theta1 0,7) abline (h0) legger til en horisontal akse på plottet. Den første kommandoen bestemmer ACF og lagrer den i en gjenstand kalt acfma1 (vårt valg av navn). Plot-kommandoen (den tredje kommandoen) plots lags versus ACF-verdiene for lags 1 til 10. ylab-parameteren merker y-aksen og hovedparameteren setter en tittel på plottet. For å se de numeriske verdiene til ACF, bruk bare kommandoen acfma1. Simuleringen og tomtene ble gjort med følgende kommandoer. xcarima. sim (n150, liste (mac (0.7))) Simulerer n 150 verdier fra MA (1) xxc10 legger til 10 for å gjøre gjennomsnitt 10. Simuleringsstandarder betyr 0. Plot (x, typeb, mainSimulated MA (1) data) acf (x, xlimc (1,10), mainACF for simulerte prøvedata) I eksempel 2 skisserte vi den teoretiske ACF av modellen xt 10 wt .5 w t-1 .3 w t-2. og deretter simulert n 150 verdier fra denne modellen og plottet prøve tidsseriene og prøven ACF for de simulerte dataene. R-kommandoene som ble brukt var acfma2ARMAacf (mac (0,5,0,3), lag. max10) acfma2 lags0: 10 plot (lags, acfma2, xlimc (1,10), ylabr, typh, hoved ACF for MA (2) med theta1 0,5, theta20.3) abline (h0) xcarima. sim (n150, liste (mac (0,5, 0,3)) xxc10 plot (x, typeb, hoved Simulert MA (2) Serie) acf (x, xlimc (1,10) mainACF for simulert MA (2) Data) Vedlegg: Bevis på egenskaper av MA (1) For interesserte studenter, her er bevis for teoretiske egenskaper av MA (1) modellen. Varians: (tekst (xt) tekst (mu wt theta1 w) 0 tekst (wt) tekst (theta1w) sigma2w theta21sigma2w (1theta21) sigma2w) Når h 1, er det forrige uttrykket 1 w 2. For ethvert h 2, . Årsaken er at ved definisjon av uavhengighet av wt. E (w k w j) 0 for noen k j. Videre, fordi w t har middelverdien 0, E (w jw j) E (w j 2) w 2. For en tidsserie, Bruk dette resultatet for å få ACF gitt ovenfor. En inverterbar MA-modell er en som kan skrives som en uendelig rekkefølge AR-modell som konvergerer slik at AR-koeffisientene konvergerer til 0 mens vi beveger oss uendelig tilbake i tiden. Vel demonstrere invertibility for MA (1) modellen. Vi erstatter deretter forholdet (2) for w t-1 i ligning (1) (3) (zt wt theta1 (z-theta1w) wt theta1z-tet2w) Ved tid t-2. (2) blir vi da erstatter forholdet (4) for w t-2 i ligning (3) (zt wt theta1z-teteta21wt theta1z-teteta21 (z-theta1w) wt theta1z-theta12z theta31w) Hvis vi skulle fortsette uendelig), ville vi få den uendelige rekkefølgen AR-modellen (zt wt theta1z - theta21z theta31z - theta41z prikker) Merk imidlertid at hvis 1 1, vil koeffisientene som multipliserer lagene av z, øke (uendelig) i størrelse når vi beveger oss tilbake i tid. For å forhindre dette, trenger vi 1 lt1. Dette er betingelsen for en inverterbar MA (1) modell. Uendelig Order MA-modell I uke 3 ser du at en AR (1) - modell kan konverteres til en uendelig rekkefølge MA-modell: (xt - mu wt phi1w phi21w prikker phik1 w dots sum phij1w) Denne summeringen av tidligere hvite støybetingelser er kjent som årsakssammenheng av en AR (1). Med andre ord, x t er en spesiell type MA med et uendelig antall vilkår som går tilbake i tid. Dette kalles en uendelig ordre MA eller MA (). En endelig ordre MA er en uendelig orden AR og en hvilken som helst endelig rekkefølge AR er en uendelig rekkefølge MA. Tilbakekall i uke 1, bemerket vi at et krav til en stasjonær AR (1) er at 1 lt1. Lar beregne Var (x t) ved hjelp av årsakssammensetningen. Dette siste trinnet bruker et grunnfakta om geometrisk serie som krever (phi1lt1) ellers ser serien ut. NavigasjonAutoregressiv Moving-Average Simulation (First Order) Demonstrasjonen er satt slik at samme tilfeldige serie poeng blir brukt uansett hvordan konstantene er varierte. Men når kvoten kvitteringsknappen trykkes, vil en ny tilfeldig serie bli generert og brukt. Å holde den tilfeldige serien identisk tillater brukeren å se nøyaktig effektene på ARMA-serien av endringer i de to konstantene. Konstanten er begrenset til (-1,1) fordi divergens av ARMA-serien resulterer når. Demonstrasjonen er kun for en første bestillingsprosess. Ytterligere AR-betingelser ville muliggjøre mer komplekse serier som skal genereres, mens flere MA-termer vil øke utjevningen. For en detaljert beskrivelse av ARMA-prosesser, se for eksempel G. Box, G. M. Jenkins og G. Reinsel, Time Series Analysis: Forecasting and Control. 3. utg. Englewood Cliffs, NJ: Prentice-Hall, 1994. RELATERTE LINKSARMA Unplugged Dette er den første oppføringen i vår serie Unplugged tutorials, der vi dykker inn i detaljene til hver av de tidsserie-modellene som du allerede er kjent med, understreker den underliggende antagelser og kjører hjem intuisjonene bak dem. I dette spørsmålet håndterer vi ARMA-modellen en hjørnestein i tidsseriemodellering. I motsetning til tidligere analyseproblemer begynner vi her med ARMA-prosessdefinisjonen, angi inngangene, utgangene, parametrene, stabilitetsbegrensningene, antagelsene og til slutt trekke noen retningslinjer for modelleringsprosessen. Bakgrunn Per definisjon er det automatisk regressive bevegelige gjennomsnittet (ARMA) en stasjonær stokastisk prosess som består av summene av autoregressive Excel og bevegelige gjennomsnittlige komponenter. Alternativt, i en enkel formulering: Forutsetninger Ser nærmere på formuleringen. ARMA prosessen er rett og slett en vektet sum av fortidens utgående observasjoner og sjokk, med få nøkkelforutsetninger: Hva betyr disse antagelsene En stokastisk prosess er en motsetning til en deterministisk prosess som beskriver utviklingen av en tilfeldig variabel over tid. I vårt tilfelle er den tilfeldige variabelen ARMA-prosessen bare fanger seriell korrelasjon (dvs. automatisk korrelasjon) mellom observasjonene. I enkle ord summerer ARMA prosessen verdiene fra tidligere observasjoner, ikke deres kvadraterte verdier eller deres logaritmer, etc. Høyere rekkefølgeavhengighet mandater en annen prosess (for eksempel ARCHGARCH, ikke-lineære modeller, etc.). Det er mange eksempler på en stokastisk prosess der tidligere verdier påvirker nåværende. For eksempel, i et salgskontor som mottar RFQer på en kontinuerlig basis, blir noen realisert som salgsgevinst, noen som salgsposter, og noen spilt ut i neste måned. Som et resultat, i en gitt måned, kommer noen av de salgsgevinne sakene som RFQ-er eller er gjentatt salg fra de foregående månedene. Hva er sjokk, innovasjoner eller feilvilkår Dette er vanskelig spørsmål, og svaret er ikke mindre forvirrende. Likevel, kan vi prøve det: I enkle ord er feilbegrepet i en gitt modell en fange-all bøtte for alle variasjonene som modellen ikke forklarer. Fortsatt tapt Lar oss bruke et eksempel. For en aksjekursprosess er det muligens hundrevis av faktorer som driver prisnivået oppdatering, inkludert: Utbytte og Split-kunngjøringer Kvartalsresultatrapporter Fusjons - og oppkjøpsaktiviteter (MampA) Juridiske hendelser, f. eks. trusselen om klassesaksjonssaker. Andre En modell, ved design, er en forenkling av en kompleks virkelighet, slik at det uansett hva vi forlater, blir modellen automatisk samlet i feilperioden. ARMA-prosessen antar at den kollektive effekten av alle disse faktorene virker mer eller mindre som gaussisk støy. Hvorfor bryr oss oss om tidligere sjokk I motsetning til en regresjonsmodell kan forekomsten av en stimulus (for eksempel sjokk) ha en effekt på dagens nivå og muligens fremtidige nivåer. For eksempel påvirker en bedriftshendelse (for eksempel MampA-aktivitet) underkursens aksjekurs, men endringen kan ta litt tid for å få full effekt, da markedsaktørene absorberer den tilgjengelige informasjonen og reagerer tilsvarende. Dette ber om spørsmålet: ikke tidligere verdier av utgangen har allerede sjokkene forbi informasjonen JA, sjokkshistorien er allerede regnskapsført i tidligere utgangsnivåer. En ARMA-modell kan utelukkende representert som en ren auto-regressiv (AR) modell, men lagringsbehovet for et slikt system i uendelig. Dette er den eneste grunnen til å inkludere MA-komponenten: å lagre lagring og forenkle formuleringen. Igjen, ARMA prosessen må være stasjonær for den marginale (betingelsesløse) variansen å eksistere. Merk: I diskusjonen ovenfor skiller jeg ikke mellom bare fraværet av enhetsrot i den karakteristiske ligningen og stasjonariteten i prosessen. De er relaterte, men fraværet av enhetsrot er ikke en garanti for stasjonar. Enhetsroten må likevel ligge inne i enhetssirkelen for å være nøyaktig. Konklusjon Lets gjenskape hva vi har gjort hittil. Først undersøkte vi en stasjonær ARMA-prosess, sammen med formulering, innganger, forutsetninger og lagringskrav. Deretter viste vi at en ARMA-prosess inkorporerer sine utgangsverdier (automatisk korrelasjon) og støt det opplevde tidligere i dagens utgang. Til slutt viste vi at den stasjonære ARMA-prosessen produserer en tidsserie med et stabilt langsiktig gjennomsnitt og varians. I vår dataanalyse, før vi foreslår en ARMA-modell, bør vi verifisere stasjonarforutsetningen og de endelige minnekravene. I tilfelle dataserien utviser en deterministisk trend, må vi fjerne (de-trend) den først, og deretter bruke residualene for ARMA. I tilfelle datasettet utviser en stokastisk trend (for eksempel tilfeldig gange) eller sesongmessig, må vi underholde ARIMASARIMA. Til slutt kan korrelogrammet (dvs. ACFPACF) brukes til å måle minnekravet til modellen vi bør forvente enten ACF eller PACF å forfalle raskt etter noen få lags. Hvis ikke, kan dette være et tegn på ikke-stasjonæritet eller et langsiktig mønster (for eksempel ARFIMA).