5. semester Matematik/Matematik-Økonomi, Statistisk Inferens, 2011

[]

Diverse oplysninger:

  1. Lokale: med mindre andet fremgår afholdes forelæsningerne i G5-109.
  2. Kursusholder: Jesper Møller, Institut for Matematiske Fag, Aalborg Universitet (jm@math.aau.dk; www.math.aau.dk/~jm).
  3. Lærebog: Peter M. Lee, Bayesian Statistics, An Introduction, Third Edition, Arnold Publishers, London, 2004. Købes i Centerboghandelen.
  4. Noter: Der suppleres med noter sidenhen, især om Markov kæde Monte Carlo metoder.
  5. Løsninger til opgaver (bruges så lidt som muligt!), R og WinBugs programmer samt trykfejlsliste til Lees bog: se hjemmesiden til Lees bog.
  6. En anden bog, som I måske kan have glæde af, men som er mindre velegnet til selve undervisningen end Lees bog: Peter D. Hoff, A First Course in Bayesian Statistical Methods, Springer, 2009.
  7. Nogle andre bøger, som I måske også kan have glæde af, men der er lidt sværere at læse end Lees bog:
    a) Andrew Gelman, John B. Carlin, Hal S. Stern and Donald B. Rubin, Bayesian Data Analysis, Second Edition, Chapman & Hall /CRC, Boca Raton, 2003: Efterhånden en klassiker, som mange mere moderne statistikere er glade for. Kræver dog en vis modenhed, da der er megen snak og få matematiske detaljer. Vi vil bl.a. til sidst i kurset benytte en lille del fra denne bog vedrørende model kontrol.
    b) Dani Gamerman, Markov Chain Monte Carlo, Chapman & Hall, London, 1997: En udmærket bog.
    c) J. Albert, Bayesian Computation with R, Springer, New York, 2007: En god bog sammen med en lærebog i bayesiansk statistik, fx. Lees bog og Gelman et al. (2003). Indeholder mange illustrative eksempler på brugen af R, og forklarer hvordan R og WinBUGS spiller sammmen.
    d) Christian P. Robert and George Casella, Monte Carlo Statistical Methods, Springer-Verlag, New York, 1999: Også efterhånden en klassiker.
    e) G. A. Young and R. L. Smith, Essentials of Statistical Inference, Cambridge University Press, Cambridge, 2005: Indeholder en kompakt men til tider noget svær gennemgang af bayesiansk statistik og MCMC i blot et enkelt kapitel. Bogen indeholder meget andet, herunder om klassisk statistik. En fin men ret svær bog.
  8. Program ved hver kursusgang: Kan variere lidt men vil hovedsageligt bestå af repetition, forelæsning og opgaver i en passende rækkefølge. Med mindre andet er anført nedenfor refereres der til tekst og opgaver i Lees bog.
  9. Bayesianske jokes: have fun.

Projektoplæg: Jeres vejledere er professor Rasmus W. Petersen og lektor Jakob G. Rasmussen, som fortæller om datasættet, der skal analyseres, ved lejlighed.

1) Mandag 5. september 12:30-16:15 i G5-110

Forelæsning: Hurtig gennemgang af Kap. 1 - det meste er kendt fra Mat. 2, men netop derfor kunne det være en god ide at læse Kap. 1 forinden. Grundigere gennemgang af Afsnit 2.1 og 2.2 i en anden rækkefølge end i lærebogen: 31-32_9 (læses som "side 31 til side 32, linie 9 fra neden") og 34_12-36^7 (læses som "side 36, linie 7 fra oven").

Opgaver: 6 og 18 i Kap. 1. Hvis der er tid tilovers regner vi lidt flere opgaver (fx 13 i Kap. 1).

2) Tirsdag 6. september 12:30-16:15 i G5-112

Forelæsning: Repetition. Så meget vi når af følgende: eksemplet side 36-37 og et tilhørende R-program, 33_7-34_13, 37_11-38^12, 32_8-33_8, Afsnit 2.3 og et R-program for eksemplet side 39-40.

Opgaver: 13 og evt. 7 i Kap. 1; 1 i Kap. 2. Der er extra god tid til opgaver, idet det oprindeligt var afsat 1 time til projektoplæg denne dag, så evt. resterende opgaver fra sidst kan også løses.

3) Mandag 19. september 12:30-16:15

Forelæsning: Repetition. Dernæst 41^15-46_18 fraregnet 42^18-43_15.

Bemærkninger:

  1. p.43_9: "For such a prior" læses som "For such a prior (at least approximately)".
  2. p.44^12 (teksten i [...]) samt p.45^{12-13} ("It is because...") kan være vanskeligt at forstå: p.44^12 kan bare ignoreres; p.45^{12-13} er snarere et princip - de foregående overvejelser forklarer ikke helt dette princip.

Opgaver: 16, 12, 9 og 7 i Kap. 1 (hvis I når så meget).

4) Tirsdag 20. september 12:30-16:15

Forelæsning: Repetition. Dernæst 46_19-49_8 og Appendix A.2, A.4 og A.5 (gennemgået i en anden rækkefølge, hvor vi starter med gamma-fordelingen og definerer de andre fordelinger ud fra gamma-fordelingen). Endelig 49_8-51^8.

Bemærkninger:

  1. Afsnit 2.6: her vil jeg forklare, at HDR ikke altid er at foretrække (m.a.o. jeg er her noget uenig med Lee). Vi definerer derfor også "central posterior regions (CPR)".
  2. p.49^7 skal der efter formlen tilføjes at nu>2; tilsvarende p.49^8 tilføjes at nu>4.
  3. p.51 linie 15-16 erstattes "variance" med "mean".

Opgaver: Først 2, 3 og 5 i Kap. 2, så evt. manglende opgaver fra Kap. 1.

5) Mandag 26. september 12:30-16:15

Forelæsning: Repetition af a) HDR og CPR, b) en normalfordelt stikprøve med ukendt varians og kendt middelværdi. Så gennemgang af diverse steder i Afsnit 2.9: 52^4-53^16, 54^9-54^14, 54_7-55^6 og 55^15-55^22. Dernæst Afsnit 2.10-2.11, der handler om konjugerede priors og exponentiele familier, hvor vi dog springer "Mixtures of conjugate densities" (side 58-59) over: det anbefales som spændende selvstændig læsning (bl.a. omtales Persi Diaconis; han, der i dag er en førende sandsynlighedsteoretiker, var inden da en anerkendt tryllekunstner).

Bemærkninger:

  1. Afsnit 2.9: her skulle I være i stand til at forstå formelmanipulationerne, når x er en diskret stokastisk variabel; det kontinuerte tilfælde er også ok, men forudsætter nogen viden om målteori, hvis alle detaljer skal på plads.
  2. p.54^14: "\mu given x" erstattes med "\phi given x".
  3. p.57^6: "any fixed function" -> "any fixed nonnegative function such that q(\theta)p(\theta) is integrable".
  4. p.58^21: "size k" -> "size m>1".
  5. p.60, første linie i "Normal mean": "\theta known" -> "\phi known".
  6. p.61^5: "h(\theta)"->"h(\theta)^\nu" (hvor \nu og \tau er passende valgte konstanter således at p(\theta) er veldefineret).
  7. p.61^12: Ok, men mindre forvirrende hvis enten "(2\pi\phi)^{-1/2}" slettes eller 2\pi\phi divideres med \nu.
  8. p.61_3: "n" -> "\kappa".

Opgaver: Kap. 2: 14 (Cauchy fordelingen defineres i Appendix A.21; antag, at vinklen er uniformt fordelt på intervallet fra -\pi/2 til \pi/2), 11 og 12.

6) Tirsdag 27. september 12:30-16:15

Forelæsning: Repetition. Så et simpelt eksempel (faktisk en opgave fra et PhD-ingeniørkursus) på simulationsbaseret bayesiansk inferens og løsningen herpå. Dernæst Afsnit 2.12 (normalfordelt stikpøve, hvor både middelværdi og varians er ukendte) og Appendix A.8. Derefter Afsnit 3.1 pånær følgende i Afnsit 3.1: "Odds and log-odds" (p.76); "Highest density regions" (p.76-77); sidste halvdel af "Example" (p.78) vedrørende HDR (vi foretrækker jo i stedet for HDR at benytte centrale posterior intervaller/områder). Afsnit 3.2 springer vi over - selvom nogle trykfejl i dette afsnit er medtaget nedenfor.

Bemærkninger:

  1. p.63^15: der mangler et integrale-tegn (\int).
  2. p.291_12: tilføj at \nu>1.
  3. p.291_11: tilføj at \nu>2.
  4. p.78_{7-8}: prioren er fejlagtigt brugt her i stedet for posterioren; rettes til forelæsningen.
  5. p.79^5: "0 \le \pi \le 1" ændres til "0 \le \theta \le 1".
  6. p.80_5: "\sim" -> "\propto".
  7. p.81^3: "z = ..." -> "\psi = ...".
  8. p.81^{11,13} (og p.25^6): "1/4n" skal forstås som "1/(4n)".
  9. p.291^8 (andet udtryk for tætheden): der mangler at blive divideret med \sqrt{\nu}.

Opgaver: Kap. 2: 8 (hvor I gerne må antage, at dimensionen af \psi(\theta) er e´n samt at \psi(\theta)>0), 13, 15.

7) Mandag 3. oktober 12:30-16:15

Forelæsning: Repetition. Afsnit 3.3-3.4 og Appendix A.13. Dog venter vi til næste gang med prediktion i forbindelse med en Poisson fordelt stikprøve.

Bemærkninger:

  1. Afsnit 3.3: Det mangler oplyst (selvom det efterhånden bliver klart), at \theta antages at være e´n dimensional i hele dette afsnit. Endvidere er der en arbitrær brug af differentationstegn (hvis det virker forvirrende, så erstat alle "islandske d-er" med normale d-er). Notationen I(\theta|x) er forvirrende; skriv alle steder I(\theta), da denne ikke afhænger af x.
  2. Lemma 1 og Lemma 2 i Afsnit 3.3: Det fremgår af beviserne, at disse lemmaer kun gælder under visse forudsætninger ("ombytning af differentation og integration"), så tilføj noget i retning af "Under weak regularity conditions we have that...". Dermed menes, at disse forudsætninger er i almindelighed opfyldt.
  3. p.83, "The information from several observations": i første linie erstattes "independent" med "i.i.d."; i trejde og femte linie erstattes "I(\theta|x) (hvor x er skrevet med fed skrift)" med "I_n(\theta)"; i sjette linie, hvor der står "where x...": dette x, der er skrevet med fed skrift, skal skrives med normal skrift.
  4. p.83, "Jeffreys' prior": Her antages \psi(\theta) er være en injektiv og to gange kontinuert differentiabel afbildning (som det vel fremgår, når man regner løs - englændere har tradition for ikke at skrive den slags petiteser...).
  5. Tilsvarende p.85 nederst.
  6. p.88^{4-13} og p.89^{2-6}: Må I gerne springe over.
  7. p.89^{9,13}: "p(\lambda)" -> "p(\lambda|x_1,\ldots,x_n)".
  8. p.89: Jeg vil her forsøge at give en simplere og mere klar fremstilling af "Predictable distributions".
  9. p.295^1: Tilføj, at "n > 0 ikke nødvendigvis er et heltal" og "0 < \pi < 1".

Opgaver: Kap. 3: 2 (I får her brug for R for at kunne beregne fraktiler i beta-fordelingen: Start R op, se hvordan I finder "a HTML browser interface to help", find så "An Introduction to R", klik på "Probability distributions", og læs lidt om det; dernæst brug hjælpekommandoen ? i R til at indhente information om beta-fordelingen, dvs skriv "?dbeta" (uden ""; hvorfor dbeta og ikke blot beta?) - i det hele taget prøv nu at bruge R - ved brug af jeres sunde fornuft skulle det ikke være så svært!). Kap. 2: 17 (afsæt god tid til denne opgave, der er den sværeste - I kan igen få brug for R - og se IKKE på Peter Lees løsning, da den er forkert!).

8) Tirsdag 4. oktober 12:30-16:15

Forelæsning: Repetition samt prediktion i forbindelse med en Poisson fordelt stikprøve. Afsnit 3.10 og Appendix A.23-A.24. I Afsnit 3.10 springer vi "Normal variance" (p.105-106) over. Endelig opsummer vi, hvordan priorfordelinger specificeres (se "Læsning på divanen" nedenfor).

Bemærkninger:

  1. p.103_{10}: Slet "independent".
  2. Afsnit 3.10: Lee lader i starten \theta være e´n-dimensional og siden to-dimensional. Til forelæsningen lader jeg \theta være d-dimensional (d \ge 1).
  3. p.106_6: tilføj et sumtegn foran \log{1+(x_i-\theta)^2}.
  4. p.108 i linien lige efter "Further, it is easily seen that" mangler der at blive ganget med n i den (1,2)-te indgang i den sidste matrix.
  5. p.108_9: "\phi \sim N(\hat\theta,..." -> "\phi \sim N(\hat\phi,...".
  6. p.108_2: "E \phi \approx" ændres til "E \phi =" og "\approx \hat \phi" tilføjes.

Opgaver: To opgaver vedr. den flerdimensionale normalfordeling.

Læsning på divanen: I opfordres til at læse Afsnit 3.6 i Young & Smith (2005) (se boglisten starten af denne hjemmeside), der består dels af en kort gennemgang af den (historiske) disput mellem klassisk og bayesiansk statistik samt vores dage mere pragmatiske synspunkt, og dels en fornuftig opsummering og diskussion af priorfordelinger.

9) Mandag 10. oktober 12:30-16:15

Forelæsning: Først øvelser (i grupperummene), hvor I fortsætter med opgaverne fra sidst vedr. den flerdimensionale normalfordeling. Dernæst repetition og gennemgang af opgaverne fra sidst. Så p. 117-118_12, dvs ganske lidt fra lærebogen, hvor de matematiske overvejelser er enkle, men begreberne er mere vanskelige. Jeg vil fortælle ganske mere end der står i bogen, herunder om likelihood ratio testet (der slet ikke er omtalt i bogen). Se også disse noter. Endelig opgaverne angivet nedenfor.

Opgaver: Kap. 3: 7, 9, 18.

10) Tirsdag 11. oktober 12:30-16:15

Forelæsning: Repetition af første halvdel af Afsnit 4.1 samt likelihood ratio testet, dernæst resten af Afsnit 4.1 samt Afsnit 4.2.

Bemærkninger:

  1. p.140^4: "Chapter 1" -> "Chapter 2".

Opgaver: Manglende opgaver fra sidst samt især $t$-test for en normalfordelt stikprøve, hvor formålet med denne opgave er dels at fortælle om et vigtigt test og dels at diskutere forskelle og ligheder i klassisk og bayesiansk statistik. Det vil nok være en god ide at starte med denne opgave, da den er vigtig og temmelig lang.

11) Tirsdag 25. oktober 12:30-16:15

Forelæsning: Kort repetition: Bayesiansk "testning" af hypoteser. Dernæst Afsnit 5.1 fraregnet p.140_{14}-142^7; Afsnit 5.2 fraregnet p.144; Afsnit 5.3, hvor I kan springe det om "Patil's approximation" over, og endvidere (kort om) siderne 308-309 samt 329-333; Afsnit 5.4, hvor "The controversy" sikkert er lidt svært at forstå, så bare ta' lidt let på det; og endelig Afsnit 5.5, hvor "Example" p.151 overlades til jer selv at læse, og hvor I kan springe p.151_{1-9} over.

Bemærkninger:

  1. p.143^{11}: "s(m^{-1}+n^{-1})" -> "s(m^{-1}+n^{-1})^{1/2}".
  2. p.145^{14}: "\phi and \psi" -> "\log\phi and \log\psi".
  3. p.148_{13} efter andet lighedstegn: der mangler paranteser omkring "\nu m".
  4. p.148_9, til sidst på linien: "x" -> "\bar x".
  5. p.150^4: "\kappa" -> "k".
  6. p.150^7 og p.161^{10}: der mangler paranteser omkring "\phi \psi".

Opgaver: 1) Opgaven om $t$-testet fra sidst og andre manglende opgaver fra tidligere.

12) Mandag 31. oktober 12:30-16:15

Forelæsning: Repetition vedrørende to normalfordelte stikprøver. Dernæst p.160-161_{12} og p.162^{11} (mens det resterende stof p.161-164 overlades til selvstændig læsning for dem, der har lyst) samt endnu engang A.23. Jeg vil desuden fortælle en del mere om den to-dimensionale normalfordeling, som der ikke står noget om i lærebogen.

Bemærkninger:

  1. p.304^6: \mu og \nu skal erstattes med henh. \lambda og \mu.

Opgaver: 1) Lad situationen være som i "Example" p.146 i Lees bog. Simuler et passende antal iid realisationer fra den pågældende Behres-Fisher-fordeling og betragt et histogram for \delta baseret på disse realisationer samt angiv et (approximativt) 90% HDR/centralt posterior interval samt middelværdi og median for \delta. Sammenlign resultaterne med dem i Lees bog. 2) Kap. 5: 1, 5(b), 12 og evt. 6 (svær men god). 3) Evt. resterende opgaver fra tidligere.

13) Tirsdag 1. november 12:30-16:15

Forelæsning: Repetition samt Afsnit 6.3 fraregnet "Case of known variance" (p.169).

Bemærkninger:

  1. p.167_{13}: "p(y|x,\phi,\alpha,\beta,\phi)" -> "p(y|x,\alpha,\beta,\phi)".
  2. p.170_9: "\gamma_0" -> "y_0".
  3. p.170_4: "N(42.7,4.60^2)" -> "42.7 + 4.60 t_8".
  4. p.170_1: Burde i stedet oplyse, at "y_0 \sim 42.7 + 14.6 t_8".

Opgaver: 1) Beskriv niveaukurverne for en todimensional normalfordelingstæthed, når varianserne er lig 5 og korrelationskoefficienten er 0 henholdsvis 1/5 (vink i det sidste tilfælde: benyt spektralsætningen for kovariansmatricen eller præcisionsmatricen, der jo begge er symmetriske positiv definite 2x2 matricer; indse, at en niveaukurve er en ellipse, og angiv centrum, akser og halvakser for denne). Argumenter (mere eller mindre løst) for, at generalt er niveaukurverne ellipser (vink: benyt igen spektralsætningen). Se også følgende plot baseret på følgende R-kode. 2) Resterende opgaver fra tidligere.

14) Mandag 7. november 12:30-16:15 i A5-006

Forelæsning: Hierakiske modeller (p.221-222^5) suppleret med lidt om ombyttelighed ("exchangeability", se p.234) og især et eksempel på en hierakisk model (Afsnit 5.1 og 5.3 i Gelman et al., se "Diverse oplysninger" ovenfor). Afsnit 1 og 2.1 i "A short diversion into the theory of Markov chains, with a view to Markov chain Monte Carlo methods".

Bemærkninger til Gelman et al.:

  1. Denne bog er sværere end Lees bog! Den har et mere moderne syn på tingene.
  2. p.128_1: "10^{-10}" -> "-10^{-10}" (to steder).
  3. p.129_16: "[-1,-2.5]" -> "[-2.5,-1]".
  4. p.129_7: "[-1.3,-2.3]" -> "[-2.3,-1.3]".

Opgaver: Kap. 6: 2, 10. Resterende opgaver fra tidligere.

15) Tirsdag 8. november 12:30-16:15

Forelæsning og opgaver: Repetition: hierakiske modeller samt starten af MCMC-noterne, hvor vi undervejs løser Exercise 1. Fortsætter med Afsnit 2.2 og videre frem i MCMC-noterne til og med Exercise 2. Til sidst: evt. resterende opgaver fra sidst.

16) Mandag 14. november 12:30-16:15

Forelæsning og opgaver: Repetition af Afsnit 1-3 samt gennemgang af Exercise 2 i MCMC-noterne. Dernæst forelæsning kombineret med opgaver i Afsnit 4 i MCMC-noterne (vi springer Afsnit 5 over). Vedr. opgaverne: Hvis I ikke fik lavet Metropolis.random.walk i sin tid, så kan den hentes her. Trykfejl: I Exercise 5 spørgsmål 2c skal "(approximately) N(0,1)-distributed" erstattes med "(approximately) normally distributed with zero mean".

17) Tirsdag 15. november 12:30-16:15

Forelæsning og opgaver: Repetition samt evt. resterende opgaver fra Afsnit 4 i MCMC-noterne, så forelæsning kombineret med opgaver fra Afsnit 6-8 i MCMC-noterne. Vedr. opgaverne: Klik her, hvor I kan læse lidt mere om Monte Carlo metoder og evt. importance sampling (importance sampling omtales i Afsnit 5, som vi springer over).

Bemærkning til Exercise 8: I forbindelse med Exercise 8 henvises til en Exercise 5 i "Basic methods...": dette er det samme som I downloadede 6. kursusgang. Desuden henvises til "A brief introduction to (simulation based) Bayesian inference" som I bedes hente her og læse selv.

18) Mandag 21. november 12:30-16:15

Forelæsning og opgaver: Repetition, så forelæsning over Afsnit 9. I fællesskab gennemgås starten af Exercise 9, som I så efterfølgende diskuterer og løser i jeres grupperum.

Trykfejl i MCMC-noterne side 21, linie 10 fra neden: I tælleren skal q_i(y_i|(x_1,...,x_{i-1},x_i,x_{i+1},...,x_k)) erstattes med q_i(x_i|(x_1,...,x_{i-1},y_i,x_{i+1},...,x_k)), og i nævneren skal q_i(y_i|(x_1,...,x_{i-1},y_i,x_{i+1},...,x_k)) erstattes med q_i(y_i|(x_1,...,x_{i-1},x_i,x_{i+1},...,x_k)).

19) Tirsdag 22. november 12:30-16:15

Forelæsning: Afsnit 10 i MCMC-noterne.

Opgaver: Exercise 10. Det er en længere opgave - kode for Exercise 8 og Exercise 9 kan hentes her.

20) Mandag 28. november 12:30-16:15

Forelæsning: Modelkontrol baseret på diverse sider i bogen af Gelman m.fl.

Andet: Hent følgende sider taget fra afsnit 7.2 i Jesper Møller & Rasmus Plenge Waagepetersen: Statistical Inference and Simulation for Spatial Point Processes. De giver en oversigt vedr. teoretiske resultater og begreber for Markov kæder, som er relevante for MCMC-algoritmer. Bl.a. står der noget nyttigt om en central grænseværdi sætning (desuden findes en trykfejlliste her). Måske kan I få glæde af dette ifm. jeres projekt. Overlades til jer som selvstændig (og sikkert lidt vanskelig) læsning. Bemærk venligst, at det er en fejl, at side 125 er kommet med.

Opgaver: Fortsæt med Exercise 10 og diskuter/foretag endvidere en modelkontrol baseret på den posterior prediktive fordeling. Kode for Exercise 10 kan hentes her.

Tak for denne gang, god fornøjelse med projektet, samt held og lykke med jeres eksamen. FØLGENDE TEKST OPDATERES SENERE