Umgebungserkennung

Ziele des Teilprojekts C1 sind die Umgebungserkennung und -modellierung sowie die intentionsbasierte Interpretation von Gesten potentieller Benutzer eines Companion-Systems. Zur Umgebungsmodellierung werden neue Methoden zum Multi-Objekttracking, zur Informationsfusion und zeitlichen Filterung erforscht und weiterentwickelt, basierend auf der Random Finite Sets Theorie und dem Joint Integrated Probabilistic Data Association Filter, die eine gleichzeitige Schätzung der Objektexistenz und des Objektzustandeserlauben. Die Erkennung von Nutzergesten erfolgt bildbasiert und stellt die Grundlage für eine intentionsbasierte Interpretation der Gesten- und Aktionssequenzen anhand von Intentionsreferenzmodellen dar. Diese stellen den direkten Bezug zwischen allen Intentionshypothesen auf Grundlage eines Applikationskontextes und dem fusionierten Merkmalsvektor aus Gestensequenzen her. Die Hypothese mit dem maximalen Evaluierungsmaß soll der Benutzerintention entsprechen.

Environment detection

The goals of subproject C1 are environment recognition and modeling as well as the intention-based interpretation of gestures of potential users of a companion system. For environment modeling, new methods for multi-object tracking, information fusion and temporal filtering are researched and further developed, based on the Random Finite Sets Theory and the Joint Integrated Probabilistic Data Association Filter, which allow a simultaneous estimation of object existence and object state. The recognition of user gestures is image-based and forms the basis for an intention-based interpretation of the gesture and action sequences using intention reference models. These provide the direct link between all intention hypotheses based on an application context and the fused feature vector from gesture sequences. The hypothesis with the maximum evaluation measure should correspond to the user intention.