Bayesian Statistics (BSc)

6 EC

Semester 2, periode 4, 5

5122BAST6Y

Eigenaar Bachelor Wiskunde
Coördinator dr. B.J.K. Kleijn
Onderdeel van Bachelor Wiskunde, jaar 3Dubbele bachelor Wis- en Natuurkunde, jaar 3

Studiewijzer 2017/2018

Globale inhoud

In frequentist statistics we assume that the data is distributed according to some unknown probability distribution. In Bayesian statistics, the data and the parameter are both treated as a random variable. Besides specifying the statistical model, the Bayesian procedure also specifies a prior distribution on the model. The data will be used as an updating mechanism for the prior resulting in the posterior distribution.

In this course we consider the consider the classical problems considering point-estimation, hypothesis testing, confidence sets and decision theory where we will describe the Bayesian and frequentist methods and compare them to each other. Furthermore, we will discuss the choice of the prior distribution, depending on both the statistical model and the intended posterior distribution.

Studiemateriaal

Syllabus

Leerdoelen

At the end of the course the student knows/is able to:

  • the definitions of the model distributions, prior distribution, posterior distribution, prior predictive distribution and posterior distribution
  • calculate the posterior distribution given a statistical model and prior distribution
  • calculate the following Bayesian point estimators: Maximum-a-posterior estimator and Posterior mean
  • construct credible sets and HPD-credible sets
  • calculate the prior odds, posterior odds and Bayes factor given a statistical model and prior distribution
  • the definitions of Loss, Risk and Bayes risk and is able to apply them for statistical decision problems 
  • compare the Bayesian methods for point-estimation, credible sets, hypothesis testing and statistical decision theory to the corresponding methods in frequentist statistics
  • able to explain the difference between subjective and objective priors
  • calculate the Jeffreys prior for a statistical model
  • determine whether a collection of probability distributions is a conjugate family for a given model
  • the definitions of hyperparameters and hyperpriors and is able to construct the prior for the original parameter given a sequence of hyperpriors and determine the corresponding posterior distribution
  • calculate the ML-II estimator for a hyperparameter of a prior distribution
  • do an analysis of the Bayesian methods from a frequentist point of view

Onderwijsvormen

    • Lectures 
    • Exercise classes

    Verdeling leeractiviteiten

    Activiteit

    Aantal uur
    Lectures

    26

    Exercise classes

    26 

    Mid-term exam

    3

    Final exam

    3

    Zelfstudie

    110

    Aanwezigheid

    Aanwezigheidseisen opleiding (OER-B):

    • Van elke student wordt actieve deelname verwacht aan het onderdeel waarvoor hij/zij staat ingeschreven.
    • Als een student door overmacht niet aanwezig kan zijn bij een verplicht onderdeel van het onderdeel, dient hij/zij dit zo snel mogelijk schriftelijk te melden bij de betreffende docent. De docent kan dan, eventueel na overleg met de studieadviseur, besluiten om de student een vervangende opdracht op te leggen.
    • Het is niet toegestaan om verplichte onderdelen van een onderdeel te missen als er geen sprake is van overmacht.
    • Bij kwalitatief of kwantitatief onvoldoende deelname, kan de examinator de student uitsluiten van verdere deelname aan het onderdeel of een gedeelte daarvan.
    • Bij alle onderwijseenheden van jaar 1 en 2 is een student verplicht bij minimaal 80% van de werkcolleges en tutoraten aanwezig te zijn. Bovendien moet worden deelgenomen aan eventuele tussentoetsen en verplicht gesteld huiswerk. Als niet aan deze verplichting is voldaan, wordt de student uitgesloten voor de herkansing van de onderwijseenheid.

    Toetsing

    Onderdeel en weging Details

    Eindcijfer

    0.4 (40%)

    Mid-term exam

    0.6 (60%)

    Final exam

    In case of a resit, the resit will completely replace the final grade.

    Inzage toetsing

    Om een inzagemoment aan te vragen, kun je contact opnemen met de coördinator.

    Fraude en plagiaat

    Dit vak hanteert de algemene 'Fraude- en plagiaatregeling' van de UvA. Hier wordt nauwkeurig op gecontroleerd. Bij verdenking van fraude of plagiaat wordt de examencommissie van de opleiding ingeschakeld. Zie de Fraude- en plagiaatregeling van de UvA: www.uva.nl/plagiaat

    Weekplanning

    Weeknummer Onderwerpen Studiestof Exercises
    1 Frequentist statistics, introduction Bayesian statistics  Sections 1.1, 1.2, 1.3  1.1, 1.5, 1.2
    2 Prior, posterior & model distributions, Bayes's Rule  Subsection 2.1.1, appendix A.5  2.2, 2.3, 2.4
    3 Bayes's billiard, Bayesian view of the model, frequentist view of the posterior  Subsections 2.1.2 — 2.1.4 2.1, 2.5
    4 Bayesian point estimators  Section 2.2 2.7, 2.9, 2.10, 2.11
    5 Confidence sets and credible sets  Section 2.3  2.14, 2.15, 2.13
    6 Tests and Bayes factors  Section 2.4  2.16, 2.17
    7 Decision theory  Section 2.5  2.18, 2.19
    8 Mid-term exam    
    9 Subjective priors, non-informative priors Sections 3.1, 3.2  Discuss mid-term exam
    10 Jeffreys prior  Section 3.2  3.1, 3.2
    11 Conjugate priors  Section 3.3 3.3, 3.4ace
    12 Hyperparameters, hyperpriors, ML-II estimation  Sections 3.4, 3.5 3.6, 3.7
    13 Dirichlet distribution, Dirichlet process prior Section 3.6 Extra material
    14 Final exam     

    Rooster

    Het rooster van dit vak is in te zien op DataNose.

    Honoursinformatie

    There is no honours extension to this course.

    Aanvullende informatie

    Recommended prerequisites: Measure Theory

    Contactinformatie

    Coördinator

    • dr. B.J.K. Kleijn