Mathematical Principles of Pattern Recognition

Studiewijzer 2017/2018

Globale inhoud

Moderne methoden in pattern recognition en machine learning zijn gebaseerd op wiskundige concepten, met name uit de lineaire algebra en kansrekening. Dit vak behandelt deze concepten in detail, om zo diepgaand inzicht te kunnen krijgen in geavanceerde machine learning-methoden. De focus ligt hierbij op de wiskunde, maar deze wordt steeds geplaatst in de context van machine learning, waarbij lineaire regressie als rode draad gebruikt wordt. Daarnaast gaan we de wiskundige theorie concreet maken in programmeeropgaven. 

De stof voor dit vak is voornamelijk afkomstig uit de eerste hoofdstukken van het boek 'Pattern Recognition and Machine Learning' van C.M. Bishop.  Dit boek wordt ook gebruikt bij de mastervakken Machine Learning 1 & 2. Dit vak wordt daarom sterk aanbevolen voor studenten die deze mastervakken willen gaan volgen.

Studiemateriaal

Literatuur

• C.M. Bishop, ' Pattern Recognition and Machine Learning', 2006, Springer, ISBN 0-38-731073-8

Overig

• Aanvullend materiaal zal digitaal beschikbaar gemaakt worden

Leerdoelen

Aan het eind van het vak kan de student:

• supervised learning-problemen beschrijven in frequentistische en Bayesiaanse termen;
• lineaire regressie beschrijven met behulp van lineaire algebra;
• eenvoudige convexe optimalisatieproblemen oplossen door de afgeleide of gradient gelijk aan 0 te stellen, of door Lagrange multipliers te gebruiken om met (in)equality constraints om te gaan, en geometrisch uitleggen waarom deze technieken werken;
• verschillende manieren beschrijven waarop een beslissingsprobleem opgelost kan worden, en bovenstaande optimalisatietechnieken hiervoor toepassen;
• formules met verwachtingen, varianties en covarianties manipuleren;
• de Jacobiaan bepalen bij een transformatie van variabelen;
• door marginaliseren en conditioneren formules afleiden voor kansverdelingen (in het bijzonder de Bayesiaanse posterior, predictive en marginal likelihood);
• eigenschappen beschrijven van de multivariaat normale verdeling, en de techniek van kwadraatsplitsen gebruiken om deze eigenschappen af te leiden;
• wiskundige eigenschappen van de Bayesiaanse prior, posterior en predictive interpreteren in de context van een machine learning-probleem;
• de effecten van modelcomplexiteit en regularisatie beschrijven in frequentistische en Bayesiaanse termen;
• deze methoden en berekeningen implementeren in de programmeertaal Python.

Onderwijsvormen

• Hoorcollege
• Werkcollege
• Laptopcollege

Tijdens de werkcolleges wordt er gewerkt aan (inlever)opgaven, en worden ingeleverde opgaven besproken. In het laptopcollege gebeurt hetzelfde voor de programmeeropdrachten.

Verdeling leeractiviteiten

Aanwezigheid

Aanwezigheidseisen opleiding (OER-B):

• Voor practica en werkgroepbijeenkomsten met opdrachten geldt een aanwezigheidsplicht. De invulling van deze aanwezigheidsplicht kan per vak verschillen en staat aangegeven in de studiewijzer. Wanneer studenten niet voldoen aan deze aanwezigheidsplicht kan het onderdeel niet met een voldoende worden afgerond. .
  

Aanvullende eisen voor dit vak:

Aanvullende eisen voor dit vak:

Aanwezigheid wordt geregistreerd.

Toetsing

Er is één hertentamen, dat de gehele stof beslaat en de cijfers van beide deeltoetsen vervangt. Om aan het hertentamen deel te nemen, moet je een voldoende voor de opdrachten staan.

Inzage toetsing

De manier van inzage wordt via de digitale leeromgeving gecommuniceerd.

Opdrachten

Theoretische opgaven

• Individueel (maar je mag de opgaven met elkaar bespreken); je krijgt wekelijks feedback en een cijfer

Programmeeropdrachten

• Gemaakt in tweetallen; je krijgt van iedere opdracht feedback en een cijfer

Onderstaande opdrachten komen aan bod in deze cursus:

•    Naam opdracht 1 : beschrijving 2
•    Naam opdracht 2 : beschrijving 1
•    ....

Fraude en plagiaat

Dit vak hanteert de algemene 'Fraude- en plagiaatregeling' van de UvA. Hier wordt nauwkeurig op gecontroleerd. Bij verdenking van fraude of plagiaat wordt de examencommissie van de opleiding ingeschakeld. Zie de Fraude- en plagiaatregeling van de UvA: www.uva.nl/plagiaat

Weekplanning

Rooster

Het rooster van dit vak is in te zien op DataNose.

Aanvullende informatie

Aanbevolen voorkennis: het vak Leren (2e jaar); basiskennis van lineaire algebra en statistiek; programmeervaardigheden (in Python/numpy).

Contactinformatie

Coördinator

• dr. Thijs van Ommen