Multi-Agent Reinforcement Learning for Deadlock Handling among Autonomous Mobile Robots

Diese Dissertation untersucht den Einsatz von Multi-Agent-Reinforcement-Learning (MARL)
zur Handhabung von Deadlocks in Intralogistiksystemen, die auf autonome mobile Roboter
(AMR) setzen. AMRs erhöhen die betriebliche Flexibilität, steigern jedoch auch das Risiko
von Deadlocks, die den Systemdurchsatz und die Zuverlässigkeit mindern. Bestehende Ansätze
vernachlässigen oft die Behandlung von Deadlocks in der Planungsphase und stützen sich auf
starre Steuerungsregeln, die sich nicht an dynamische Betriebsbedingungen anpassen.
Diese Arbeit entwickelt eine strukturierte Methodik zur Integration von MARL in die Logistikplanung
und Betriebssteuerung. Dazu werden Referenzmodelle eingeführt, die deadlock-fähige
Multi-Agent-Pathfinding-Probleme (MAPF) explizit berücksichtigen und eine systematische
Bewertung von MARL-Strategien ermöglichen. Mit gitterbasierten Umgebungen und externer
Simulationssoftware werden traditionelle Deadlock-Strategien mit MARL-basierten Ansätzen
verglichen, wobei der Fokus auf den Algorithmen PPO und IMPALA in verschiedenen Trainings und
Ausführungsmodi liegt.
Die Ergebnisse zeigen, dass MARL-Strategien, insbesondere in Kombination mit zentralisiertem
Training und dezentraler Ausführung (CTDE), in komplexen, überlasteten Umgebungen
regelbasierte Verfahren übertreffen. In einfacheren Umgebungen oder bei ausreichendem Bewegungsspielraum bleiben regelbasierte Ansätze aufgrund ihres geringeren Rechenaufwands
konkurrenzfähig. Diese Resultate verdeutlichen, dass MARL eine flexible und skalierbare Lösung
zum Umgang mit Deadlocks in dynamischen Intralogistikszenarien bietet, jedoch eine sorgfältige
Anpassung an den jeweiligen Anwendungsfall erfordert.

This dissertation explores the application of multi-agent reinforcement learning (MARL) for
handling deadlocks in intralogistics systems that rely on autonomous mobile robots (AMRs).
AMRs enhance operational flexibility but also increase the risk of deadlocks, which degrade system
throughput and reliability. Existing approaches often neglect deadlock handling in the planning
phase and rely on rigid control rules that cannot adapt to dynamic operational conditions.
To address these shortcomings, this work develops a structured methodology for integrating
MARL into logistics planning and operational control. It introduces reference model that explicitly
consider deadlock-capable multi-agent pathfinding (MAPF) problems, enabling systematic
evaluation of MARL strategies. Using grid-based environments and an external simulation
softare, the study compares traditional deadlock handling strategies with MARL-based solutions,
focusing on PPO and IMPALA algorithms under different training and execution modes.
Findings reveal that MARL-based strategies, particularly when combined with centralized
training and decentralized execution (CTDE), outperform rule-based methods in complex,
congested environments. In simpler environments or those with ample spatial freedom, rulebased
methods remain competitive due to their lower computational demands. These results
highlight that MARL provides a flexible and scalable solution for deadlock handling in dynamic
intralogistics scenarios, but requires careful tailoring to the operational context.