Blickschätzung basierend auf dem kombinierten Loss von Regression und Klassifizierung

Der menschliche Blick ist ein entscheidendes Merkmal, der in verschiedenen Anwendungen wie der Mensch-Roboter-Interaktion, dem autonomen Fahren und der virtuellen Realität verwendet wird. Kürzlich haben Ansätze mit Convolutional-Neural-Networks (CNN) bemerkenswerte Fortschritte bei der Vorhersage der Blickrichtung gemacht. Das Schätzen der genauen Blickrichtung in unkooperativen in-the-wild Situationen (d.h. mit Teilverdeckungen, stark variierenden Lichtverhältnissen usw.) ist jedoch immer noch ein herausforderndes Problem. Hierbei ist es besonders herausfordernd, die essentiellen Blickinformationen aus dem Augenbereich zu erfassen, da dieser nur einen kleinen Teil eines detektierten Gesichtes ausmacht. In diesem Projekt wird ein neues Multi-Loss-CNN-basiertes Netzwerk entwickelt, um die Winkel der Blickrichtung (Nick- und Gierwinkel) mit hoher Genauigkeit direkt aus Gesichtsbildern zu ermitteln. Indem wir die gemeinsamen Merkmale der letzten Schicht des Netzwerks trennen, sollen zwei unabhängige Fully-Connected Layer für die Regression der beiden Blickwinkel verwendet werden, um die Charakteristik jedes Winkels zu erfassen. Darüber hinaus soll eine Coarse-to-Fine-Strategie unter Verwendung eines Multi-Loss-CNN angewendet werden, das sowohl den Loss von Klassifizierung als auch Regression mit einbezieht. Wir führen eine Klassifizierung des Blicks durch, indem wir eine Softmax-Schicht mit dem Cross-Entropy-Loss kombinieren. Hieraus ergibt sich eine grobe Einordnung des Blickwinkels (Klasse). Um Blickwinkel zu prädizieren, berechnen wir die Klassenverteilung gefolgt von dem Regressions-Loss des Blickwinkels.