Erforschung und Entwicklung einer Plattform zur Erstellung von AR-/VR-Lernszenarien mit Unterstützung durch generative KI (PELKI)

Ein gängiges Beispiel für auf den Kunden ausgerichtete AR/VR-Inhalte sind Trainingsszenarien für verschiedenste Bereiche. Die Erstellung dieser AR-/VR-Trainingsszenarien basiert auf Gesprächen zwischen Trainern (Kunden) und 3DQR. Zusätzlich zu den semi-strukturierten Interviews kann der Trainer Videos des zu erlernenden Szenarios bereitstellen. Diese diversen Informationen müssen strukturiert und verarbeitet werden, um daraus AR-/VR-Trainingsumgebungen zu erstellen. Das Projekt soll diesen Workflow an mehreren Stellen vereinfachen. Nachdem 3DQR die Rahmenbedingungen festgelegt hat (Anforderungen, Analysen, etc.), soll zuerst die Generierung der Trainingsszenarien untersucht werden. Dabei beschäftigt sich 3DQR mit der klassischen Generierung, bei der automatisch relevante Softwarebausteine innerhalb der AR-/VR-Szene abgefragt werden sollen. Parallel dazu erforscht die OVGU KI-Lösungen, die zur Generierung solcher Szenarien verwendet werden können. Mittels einer generativen KI soll eine erste Szene als Basis für weitere Anpassungen geschaffen werden. Das beinhaltet vorerst eine strukturierte Szene mit Platzhaltern, kann aber im besten Fall auf das Generieren von passenden 3D Objekten, Texten und Interaktionen, beziehungsweise die richtige Wahl der bereits vorhandenen Bausteine hinauslaufen. Da letzteres eine sehr hohe Komplexität und Risiko aufweist, wird zuerst eine etwas einfachere Basis geschaffen, die dann ggf. auf das beschriebene Szenario erweitert werden kann.
Beide Versionen werden unabhängig voneinander auf verschiedene Aspekte evaluiert. Die Komplexität bei der automatischen und KI-gestützen Generierung ergibt sich neben den diversen Eingabeformaten einerseits aus den verschiedensten Anwendungsfällen, die in allen möglichen Branchen liegen können und andererseits aus den verschiedenen Strukturen von Szenarien. Für die zwei Versionen der Szenengenerierung sollen mögliche Szenarien und die damit einhergehende Abfragelogik begrenzt und einfach gehalten werden.
Im letzten Abschnitt des Projektes soll dieser Teil jedoch von 3DQR auf mögliche Erweiterungen analysiert werden. Diese können situative Anwendungen beinhalten, die mehr Bedingungen und somit eine höhere Komplexität vorweisen. Entsprechend müssen die bestehenden Versionen der Szenengenerierung angepasst werden. Dabei liegt wieder die klassische Version im Aufgabenbereich von 3DQR und die KI-Version im Aufgabenbereich der OVGU. Im Zuge der Erweiterungen erforscht die OVGU einen KI Ansatz für die Abfragelogik, so dass der Kunde und 3DQR (im Falle der klassischen Szenengenerierung) jeweils mit einer KI interagieren. Entsprechend beinhaltet dies auch die Untersuchung geeigneter Benutzerschnittstellen für das KI-System. Zuletzt sollen die klassische und die KI-gestützte Methode verglichen werden.