3D-basierte Mensch-Roboter Kollaboration mit räumlicher Situationsanalyse zur Ad-Hoc-Assistenz bei dynamischen Warentransportprozessen

In diesem Projektvorhaben werden Methoden erforscht und entwickelt, die es einem mobilen Palettentransportroboter (FTS) ermöglichen, eine höhere semantische Situationsanalyse des logistischen Umfeldes für Werker-Roboter und Roboter-Roboter Interaktionen durchzuführen. Hierfür umfasst die erste Zielstellung die Kartenerstellung inklusive Selbstlokalisierung unter Einbeziehung dynamisch-semantischer Arbeitsobjekte. Eine weitere Zielstellung ist mittels der Entwicklung von latenzoptimierten Methoden zur Erkennung, Identifikation und Tracking von Werkern im logistischen Umfeld anhand von Körper-, Kopfpose und weiterer Indikatoren die Interaktionsbereitschaft abzuleiten, um effizient und robust mit dem agierenden Werker zu kollaborieren. Die Aktionen umfassen spezifische Tätigkeiten aus der Lagerlogistik (bspw. Abladen, Aufladen, Suchen von Paletten), welche durch Einbeziehung des Kontextes (Lokalisierung von Paletten, Ermittlung des Ladestatus) und von werkerzentrierten Gesten- und Sprachbefehlen bestimmt werden. Die entwickelten Lösungsansätze im Rahmen des Teilvorhabens tragen im Gesamtvorhaben dazu bei, eine gezielte Arbeitskoordination von mehreren Robotern und eine präzise und zielgerichtete Werker-Roboter Kollaboration robust und effizient zu ermöglichen (Übermittlung von Befehlen, Optimierung von Routen).

3D-based human-robot collaboration with spatial situation analysis for ad hoc assistance in dynamic goods transport processes

In this project, methods are being researched and developed that enable a mobile pallet transport robot (AGV) to perform a higher semantic situation analysis of the logistical environment for worker-robot and robot-robot interactions. For this purpose, the first objective comprises the creation of maps including self-localization with the inclusion of dynamic semantic work objects. Another objective is the development of latency-optimized methods for the recognition, identification and tracking of workers in the logistics environment based on body, head pose and other indicators to derive the willingness to interact in order to collaborate efficiently and robustly with the acting worker. The actions include specific activities from warehouse logistics (e.g. unloading, loading, searching for pallets), which are determined by including the context (localization of pallets, determination of the loading status) and worker-centered gesture and voice commands. The solution approaches developed as part of the sub-project contribute to the overall project to enable targeted work coordination of several robots and precise and targeted worker-robot collaboration in a robust and efficient manner (transmission of commands, optimization of routes).