Modeling affective state using learning vector quantization

Zelflerende computer herkent stress en emoties

Emoties en ook stress maken een zeer belangrijk deel uit van ons dagelijks leven. Ons drukke bestaan kan ons echter emotioneel uit balans brengen. Het proefschrift van Jan de Vries gaat over slimme apparaten die ons kunnen helpen in balans te blijven, bijvoorbeeld door op tijd te waarschuwen voor overmatige stress.

Essentieel voor zulke apparaten is dat zij emoties en stress moeten kunnen meten. Het proefschrift van De Vries bestudeert hoe een bepaald type zelflerende computersystemen kan worden ingezet in dit zogeheten affectieve domein en verkent daarin herkenning van emoties op basis van drie verschillende meetmethoden, gemeten aan: het lijf (fysiologie), het gelaat (gezichtsuitdrukkingen) en het brein (cognitieve processen). Daarmee probeert dit proefschrift theorie en toepassing op het kruisvlak van informatica en psychologie, ook wel affectieve informatica genoemd, te verbinden.

Het onderzoek toont aan dat computers, op basis van deze zelflerende systemen, goed in staat zijn om emoties te herkennen uit foto’s van gelaatsuitdrukkingen en ook goed stress kunnen herkennen uit hartslagsignalen, beide met grote precisie. De gebruikte methoden leveren bovendien modellen op waaruit nieuwe kennis geput kan worden. Zo blijkt dat de mond en de ogen erg belangrijk zijn bij het herkennen van de gezichtsexpressies en dat de emotieherkenning uit fysiologie kan worden verbeterd door toevoeging van metingen van bepaalde hartfrequenties.

De Vries voerde het onderzoek als buitenpromovendus uit bij het Johann Bernoulli Institute for Mathematics and Computer Science van de RUG. Het werd ondersteund door Philips Research, de organisatie waar De Vries full time in dienst is als research scientist.