Spraakanalyse, -synthese en -herkenning

Speech Analysis, Synthesis and Recognition

Studiewijzer 2024/2025

Globale inhoud

Spraak is de meest natuurlijke vorm van communicatie tussen mensen, en wordt dit ook steeds meer tussen mens en machine. Spraaktechnologie maakt zulke mens–machineinteractie mogelijk, maar kent ook zijn beperkingen. Om die beperkingen verder op te heffen is een goed inzicht nodig van gesproken taal en van de mogelijkheden, problemen en onderliggende algoritmen van spraakanalyse, spraaksynthese, spraakclassificatie en spraakmanipulatie. Deze cursus geeft daar een aanzet toe. Met bestaande software is het gelukkig goed mogelijk om spraakanalyse, -synthese, -classificatie en -manipulatie te demonstreren en om hiermee zelf practicumopdrachten uit te voeren.

Enkele onderdelen zijn:

• Akoestische, auditieve en articulatorische kenmerken van o.a. klinkers en medeklinkers.
• Spectrale analyse van spraak: Fouriertransformatie, formanten, MFCC.
• Toonhoogteanalyse van spraak: periodiciteit, tonen, intonatie.
• Spraakproductiemodellen: bron–filtermodel, lineaire predictie.
• Spraakclassificatiemodellen: discriminantanalyse, convolutionele neurale netwerken, Wav2Vec.
• Manipulatie van toonhoogte, duur, formanten (handmatig) of van holistische spraak (via neurale netwerken).

Er zijn nog andere cursussen binnen de BA Kunstmatige Intelligentie die zich bezighouden met “natuurlijke taal”. Meestal gaat dat over de relatie tussen geschreven taal en betekenis. Deze cursus is de enige die zich met gesproken taal bezighoudt. Waarschijnlijk is gesproken taal natuurlijker dan geschreven taal; in ieder geval volmaakt deze cursus je begrip van hoe het taalbegripsproces (van geluid naar betekenis) zowel als het taalproductieproces (van betekenis naar geluid) technologisch kan worden gemodelleerd.

Studiemateriaal

Literatuur

• Artikel Boersma, boek Jurafsky & Martin

Syllabus

• Boek Weenink, Opdrachten, Uitwerkingen, enkele slides

Software

• Praat

Leerdoelen

• The student is able to describe speech sounds acoustically, auditorily and articulatorily.
• The student understands algorithms for speech analysis.
• The student is able to generate speech sounds from scratch.
• The student is able to classify speech via neural networks.
• The student is able to modify speech via neural networks.

Onderwijsvormen

• Hoorcollege
• Laptopcollege

Zie Canvas onder "Ten ways to learn".

Verdeling leeractiviteiten

Aanwezigheid

Aanwezigheidseisen opleiding (OER-B):

• Voor practica en werkgroepbijeenkomsten met opdrachten geldt een aanwezigheidsplicht. De invulling van deze aanwezigheidsplicht kan per vak verschillen en staat aangegeven in de studiewijzer. Wanneer studenten niet voldoen aan deze aanwezigheidsplicht kan het onderdeel niet met een voldoende worden afgerond.
  

Toetsing

Zie Canvas.

Inzage toetsing

Via een email aan iedereen.

Inzage gebeurt op individuele basis.

Opdrachten

Zie onder Modules op Canvas.

Fraude en plagiaat

Dit vak hanteert de algemene 'Fraude- en plagiaatregeling' van de UvA. Hier wordt nauwkeurig op gecontroleerd. Bij verdenking van fraude of plagiaat wordt de examencommissie van de opleiding ingeschakeld. Zie de Fraude- en plagiaatregeling van de UvA: http://student.uva.nl

Weekplanning

Contactinformatie

Coördinator

• Paul Boersma

Docenten

• G. Shekoufandeh