Markov Chains

Studiewijzer 2017/2018

Globale inhoud

The course consists of three parts. The first (and also largest) part is an introduction to discrete-time Markov chains in which we treat class structure, hitting times, absorption probabilities, strong Markov property, random walks, invariant distributions, convergence to equilibrium and reversibility.

The second part deals with continuous-time Markov chains where we focus on the exponential disrtibution, the Poisson process and embedded discrete-time Markov chains, among other things.

In the final part of the course we consider applications of Markov chains, in particular branching processes and queueing theory.

Studiemateriaal

Literatuur

• James R. Norris, 'Markov Chains', Cambridge University Press.

• Handout Probability Generating Functions

Leerdoelen

In general, after this course, the student will have a thorough understanding of Markov chains in continuous and discrete time, which serves as a basis for further studies in stochastic processes. More precisely:

1. Given a Markov chain, the student can determine or calculate the following properties or quantities of a Markov chain:

• (strong) Markov property, class structure (open and closed classes)
• (a)periodicity, (ir)reducibility, hitting times, hitting probabilities
• (positive) recurrence, transience
• invariant distributions
• reversibility.

2. The student understands and is able to apply several equivalent definitions of the Poisson process.

3. The student will understand the wide applicability of Markov chains in other fields,

4. The student wiil be able to solve basic questions regarding queueing theory (including M/M/1, M/G/1, G/M/1 queues) or branching processes.

Onderwijsvormen

• Hoorcollege
• Werkcollege
• Zelfstudie

Verdeling leeractiviteiten

Aanwezigheid

Aanwezigheidseisen opleiding (OER-B):

• Van elke student wordt actieve deelname verwacht aan het onderdeel waarvoor hij/zij staat ingeschreven.
• Als een student door overmacht niet aanwezig kan zijn bij een verplicht onderdeel van het onderdeel, dient hij/zij dit zo snel mogelijk schriftelijk te melden bij de betreffende docent. De docent kan dan, eventueel na overleg met de studieadviseur, besluiten om de student een vervangende opdracht op te leggen.
• Het is niet toegestaan om verplichte onderdelen van een onderdeel te missen als er geen sprake is van overmacht.
• Bij kwalitatief of kwantitatief onvoldoende deelname, kan de examinator de student uitsluiten van verdere deelname aan het onderdeel of een gedeelte daarvan.
• Bij alle onderwijseenheden van jaar 1 en 2 is een student verplicht bij minimaal 80% van de werkcolleges en tutoraten aanwezig te zijn. Bovendien moet worden deelgenomen aan eventuele tussentoetsen en verplicht gesteld huiswerk. Als niet aan deze verplichting is voldaan, wordt de student uitgesloten voor de herkansing van de onderwijseenheid.

Toetsing

Inzage toetsing

De datum, het tijdstip en de locatie van het inzagemoment staan in het rooster in DataNose.

Opdrachten

Huiswerkopdrachten

• 3 of 4 huiswerkopdrachten

Fraude en plagiaat

Dit vak hanteert de algemene 'Fraude- en plagiaatregeling' van de UvA. Hier wordt nauwkeurig op gecontroleerd. Bij verdenking van fraude of plagiaat wordt de examencommissie van de opleiding ingeschakeld. Zie de Fraude- en plagiaatregeling van de UvA: www.uva.nl/plagiaat

Weekplanning

Rooster

Het rooster van dit vak is in te zien op DataNose.

Honoursinformatie

There is no honours extension of this course.

Aanvullende informatie

Prerequisites: Stochastics 1

Also recommended: Stochastics 2

Contactinformatie

Coördinator

• prof. dr. R. Nunez Queija

 David Koops