Analyse van larynx en vocale modi

Het doel van het project

De larynx, of het strottenhoofd, is het deel van je keel waar je stembanden zitten. Het speelt een cruciale rol bij het maken van geluid en bij het zingen. Professionele zangers gebruiken verschillende manieren van stemgebruik, zoals krachtig zingen of juist zacht en gecontroleerd. Deze manieren worden vocale modi genoemd en ontstaan door specifieke bewegingen in de larynx.

Het begrijpen van deze modi is belangrijk voor zowel zangonderwijs als medisch stemonderzoek. Er zijn vier hoofdmodi: overdrive, edge, curbing en neutral. Elke modus kent unieke bewegingen in het strottenhoofd die de klankvorming beïnvloeden. Tot nu toe was het lastig om deze modi systematisch te herkennen en hun onderliggende fysiologie nauwkeurig in kaart te brengen.

Om dat probleem aan te pakken, zijn we dit onderzoeksproject gestart. In dit project ontwikkelen we machine learning-tools die vocale modi automatisch classificeren op basis van visuele en akoestische data. Daarvoor gebruiken we een dataset met meer dan 2.000 beelden van het strottenhoofd van mannelijke en vrouwelijke zangers, elk voorzien van een label voor een van de vier vocale modi.

Het onderzoek richt zich op betrouwbare voorspellende modellen én op meer inzicht in de fysiologie van de stem. Door AI te combineren met stemwetenschap dragen we met dit project bij aan stemtraining, therapeutische interventies bij stemstoornissen en zangpedagogiek.

Hoe pakt Inholland dit onderzoek aan?

In dit project werken we vanuit de lectoraten Data Driven Smart Society en Medische Technologie samen met een Deense muziekschool en het Complete Vocal Institute (CVI). Samen ontwikkelen we AI-oplossingen die vocale modi automatisch kunnen herkennen en analyseren.

Voor de beeldanalyse maken we gebruik van transfer learning-modellen zoals ResNet en VGG, aangevuld met hybride modellen (CNN, VAE en SVM). Hiermee kunnen zowel gedetailleerde visuele kenmerken als latente patronen in larynxbewegingen worden vastgelegd.

Daarnaast werken we met multimodale leermethoden, waarin we beelddata combineren met gestructureerde CSV-annotaties. Door strikte evaluatieprotocollen blijven de modellen betrouwbaar en toepasbaar in nieuwe situaties.

Wat is het belang voor het onderwijs?

• Voor IT- en Applied Mathematics-studenten

In dit onderzoek werken IT- en Applied Mathematics-studenten met een uniek interdisciplinair praktijkvoorbeeld waarin AI, computer vision en medische beeldvorming worden toegepast op een fysiologisch én artistiek vraagstuk. In plaats van standaard datasets gebruiken ze zeer gespecialiseerde larynxdata, wat technische én domeinspecifieke kennis vereist.

• Voor muziek- en zangonderwijs

In dit onderzoek leggen we de fundamenten voor toekomstige toepassingen die feedback kunnen geven op zangkwaliteiten. Denk aan een app die feedback kan geven op je stemgeluid op basis van akoestische en visuele data. Dit dient ter aanvulling op zangonderwijs zoals dat door zangpedagogen wordt gegeven.  

Hoe betrekken we het werkveld?

Het project is een samenwerking tussen het lectoraat Data Driven Smart Society, lectoraat Medische Technologie, IT-opleidingen en de het Deense zanginstituut Complete Vocal Institute (CVI).
 
Het Complete Vocal Institute is Europa’s grootste instituut voor professionele en semi professionele zangers en zangeressen. Ze bieden diverse cursussen in Complete Vocal Technique voor het verbeteren van zang vaardigheden en artistieke ontwikkeling.  Daarnaast geven ze cursussen stemrehabilitatie in samenwerking met KNO-artsen, logopedisten, pathologen, en andere stemprofessionals.
 
Samen vertegenwoordigen we met deze partners het snijvlak van kunst, wetenschap en technologie in de studie van de menselijke stem.
 

Wat zijn de (verwachte) resultaten?

Het project levert naar verwachting:

• Betrouwbare AI-classificaties voor het herkennen van stemmodi op basis van larynxbeelden
• Regressiemodellen die laryngeale bewegingen en annotaties kunnen voorspellen
• Multimodale methoden die beeld- en tabeldata combineren voor nauwkeurigere inzichten
• Educatieve bronnen die larynxgedrag helder illustreren voor zangers en zangcoaches
• Verdieping van wetenschappelijke kennis over stemfysiologie
• Praktische toepassingen voor muziekonderwijs en stemtherapie