Implizite mobile Mensch-Roboter-Kommunikation für die räumliche Handlungskoordination mit aktionsspezifischer semantischer Umgebungsmodellierung

Der Einsatz von Robotern in der Industrie-, Arbeits- und Alltagswelt wird immer weiter flexibilisiert. Aktuelle Methoden zum maschinellen Lernen und zur adaptiven Bewegungsplanung führen zu einem wesentlich robusteren Verhalten und einer höheren Autonomie des Roboters. Dennoch finden bei kollaborativen Mensch-Roboter-Handlungen immer wieder Interaktionsabbrüche statt, in denen der Mensch das Bewegungsverhalten des Roboters nicht nachvollziehen kann. Eine häufige Ursache liegt darin, dass der Mensch ein falsches oder eingeschränktes Bild davon hat, was der Roboter gerade wahrnimmt und was dessen interner Zustand ist. Dies könnte vermieden werden, wenn der Roboter die mentalen Zustände und die Perspektive des Interaktionspartners in seiner eigenen Handlungsgenerierung nutzen könnte, um ein gemeinsames Verständnis der Handlung aktiv zu erzeugen. Eine Schlüsselkompetenz für eine derartige Zusammenarbeit von Menschen und Robotern ist die Fähigkeit zur Kommunikation und gegenseitigen Koordination über implizite Signale der Körpersprache und -bewegung. Das Projekt untersucht die implizite Mensch-Roboter-Kommunikation in kollaborativen Handlungen am Beispiel des gemeinsamen Aufbaus eines Regals. In experimentellen Studien werden gezielt Situationen erzeugt und aufgenommen, in denen die Interaktion und Perzeption zwischen dem Menschen und dem Roboter gestört ist. Es werden zum einen neue Perzeptionsmethoden erforscht, die interaktionsrelevante Merkmale anhand von Kopf-, Körperposen und Mimik robust bei Verdeckungen erkennen. Diese werden im Kontext der Handlung und der Umgebung interpretiert, so dass implizite Kommunikationssignale (z.B. Zuwenden, Abwenden, Einhalten, Andeuten, etc.) und interne Zustände (z.B. Zustimmung, Ablehnung, Interaktionsbereitschaft, etc.) abgeleitet werden können. Zum anderen werden Methoden erforscht, in denen der Roboter die Perspektive und den Zustand des Gegenübers in seiner eigenen Handlungsplanung berücksichtigt und dabei aktiv Nutzerreaktionen einfordert. Dies führt zu einer räumlichen Koordination der Interaktionspartner beim Aufbau des Regals, die die gegenseitige Wahrnehmung und das Handlungsziel berücksichtigt. Über einen aktiven Einsatz der Körperpose, relativen Ausrichtung und Bewegung des Roboters können Konfliktsituationen bereits im Vorhinein gelöst werden, ohne dass eine explizite Instruktion an den Roboter notwendig ist.

Implicit mobile human-robot communication for spatial action coordination with context-specific semantic environment modeling

The use of robots in the industry as well as in the work and everyday life is becoming more and more flexible. Current methods for machine learning and adaptive motion planning are leading to a more robust behavior and a higher autonomy of the robots. Nevertheless, collaborative human-robot interactions still happen to have interruptions and breakdowns in cases where the human is not able to comprehend the robot's movement behavior. A common cause is that the human has an incorrect or limited picture of what the robot is currently perceiving and what its internal state is. This could be avoided if the robot could understand and incorporate the mental states and the perspective of the interaction partner in its own action generation in order to actively generate a common understanding of the interaction.A key competence for such a collaboration between humans and robots is the ability of communication and mutual coordination via implicit signals of body language and movement. The project investigates the implicit human-robot communication in collaborative actions by using the example of the joint construction of a shelf. In experimental studies, situations will be created and recorded in which the interaction and perception between the human and the robot is disturbed. On the one hand, new perception methods are explored, that robustly detect interaction-relevant features based on head and body poses and facial expressions against occlusions. These are interpreted in the context of the action and the environment, so that implicit communication signals (e.g., turning toward, turning away, compliance, hinting, etc.) and internal states (e.g., approval, disapproval, willingness to interact, etc.) can be inferred. On the other hand, new methods are being explored to make the robot infer the perspective and the state of the human interlocutor in its own action planning and actively requests user reactions.This leads to a spatial coordination of the partners during the construction of the shelf by taking into consideration the mutual perception and the goal of the action. Via an active use of body pose, relative orientation and movement of the robot, conflict situations can be solved in advance without the need for explicit instructions to the robot.