Bildbasierte Emotionserkennung und -quantifizierung auf der Grundlage der Datenfusion

Analog zur Mensch-Mensch-Kommunikation wird die Mensch-Maschine-Interaktion als Interaktion zweier Agenten betrachtet, die kooperativ ein Problem lösen, Wünsche und Ziele ihres Gegenübers erkennen, sich an sie anpassen sowie sich des Diskurskontextes und seiner Regeln bewusst sind. Der Versuch diese Aspekte von Interaktionen explizit zu erfassen und zu modulieren, sind die Aufgaben einer adaptiven Benutzungsschnittstelle. Dabei wird die Schnittstelle durch Wissen über den momentanen Status, das Ziel und den emotionalen Zustand des individuellen Benutzers dynamisch angepasst. Hierzu reicht die typische Verarbeitungskette von der Merkmalsfindung und -extraktion bis zur Emotionsklassifikation und -quantifizierung. Die Kombination von Bilddaten mit Sprachdaten zur Segmentierungserfassung zwecks Mimikerkennung im Mehrpersonenszenario ist hierbei ein viel versprechender neuartiger Ansatz, der nicht nur eine robuste Klassifikation von unterschiedlichsten Arten von statischen und dynamischen Gesichtsausdrücken, sondern auch die Echtzeit-Adaption der Benutzungsschnittstelle an die aktuellen Benutzeraktionen erlaubt.

Image-based emotion recognition and quantification based on data fusion

Analogous to human-human communication, human-machine interaction is viewed as the interaction of two agents that cooperatively solve a problem, recognize the wishes and goals of their counterpart, adapt to them and are aware of the discourse context and its rules. The attempt to explicitly capture and modulate these aspects of interactions are the tasks of an adaptive user interface. The interface is dynamically adapted using knowledge about the current status, goal and emotional state of the individual user. To this end, the typical processing chain ranges from feature identification and extraction to emotion classification and quantification. The combination of image data with speech data for segmentation detection in order to recognize facial expressions in a multi-person scenario is a promising new approach that not only enables robust classification of different types of static and dynamic facial expressions, but also real-time adaptation of the user interface to current user actions.