Blickschätzung basierend auf dem kombinierten Loss von Regression und Klassifizierung

Der menschliche Blick ist ein entscheidendes Merkmal, der in verschiedenen Anwendungen wie der Mensch-Roboter-Interaktion, dem autonomen Fahren und der virtuellen Realität verwendet wird. Kürzlich haben Ansätze mit Convolutional-Neural-Networks (CNN) bemerkenswerte Fortschritte bei der Vorhersage der Blickrichtung gemacht. Das Schätzen der genauen Blickrichtung in unkooperativen in-the-wild Situationen (d.h. mit Teilverdeckungen, stark variierenden Lichtverhältnissen usw.) ist jedoch immer noch ein herausforderndes Problem. Hierbei ist es besonders herausfordernd, die essentiellen Blickinformationen aus dem Augenbereich zu erfassen, da dieser nur einen kleinen Teil eines detektierten Gesichtes ausmacht. In diesem Projekt wird ein neues Multi-Loss-CNN-basiertes Netzwerk entwickelt, um die Winkel der Blickrichtung (Nick- und Gierwinkel) mit hoher Genauigkeit direkt aus Gesichtsbildern zu ermitteln. Indem wir die gemeinsamen Merkmale der letzten Schicht des Netzwerks trennen, sollen zwei unabhängige Fully-Connected Layer für die Regression der beiden Blickwinkel verwendet werden, um die Charakteristik jedes Winkels zu erfassen. Darüber hinaus soll eine Coarse-to-Fine-Strategie unter Verwendung eines Multi-Loss-CNN angewendet werden, das sowohl den Loss von Klassifizierung als auch Regression mit einbezieht. Wir führen eine Klassifizierung des Blicks durch, indem wir eine Softmax-Schicht mit dem Cross-Entropy-Loss kombinieren. Hieraus ergibt sich eine grobe Einordnung des Blickwinkels (Klasse). Um Blickwinkel zu prädizieren, berechnen wir die Klassenverteilung gefolgt von dem Regressions-Loss des Blickwinkels.

Gaze estimation based on the combined loss of regression and classification

Human gaze is a crucial feature used in various applications such as human-robot interaction, autonomous driving and virtual reality. Recently, approaches using Convolutional Neural Networks (CNN) have made remarkable progress in predicting gaze direction. However, estimating the exact gaze direction in uncooperative in-the-wild situations (i.e., with partial occlusions, highly varying lighting conditions, etc.) is still a challenging problem. Here, it is particularly challenging to capture the essential gaze information from the eye area, as this only makes up a small part of a detected face. In this project, a new multi-loss CNN-based network is developed to detect the angles of gaze direction (pitch and yaw angles) with high accuracy directly from facial images. By separating the common features of the last layer of the network, two independent Fully-Connected Layers will be used for the regression of the two gaze angles to capture the characteristics of each angle. Furthermore, a Coarse-to-Fine strategy using a Multi-Loss CNN that incorporates both the Loss of classification and regression shall be applied. We classify the gaze by combining a softmax layer with the cross-entropy loss. This results in a rough classification of the gaze angle (class). To predict gaze angles, we calculate the class distribution followed by the regression loss of the gaze angle.