Hirn-Computer-gesteuerte adaptive Virtuelle Realität zur Integration von Emotionen in die Interaktionen zwischen Mensch und Maschine (EmoAdapt)

Manuelle Dateneingaben (und teilweise Sprache oder Bewegungserkennung) bestimmen derzeit überwiegend die Mensch-Maschine-Interaktion. Fak­toren wie Ablehnung, Stress, Begeisterung oder reduzierte Aufmerksamkeit durch Müdigkeit oder Ablenkung können die Interaktion zwar stark be­einflussen, werden aber von einer Maschine nicht erkannt. Sie kann daher nicht auf Verän­derungen reagieren. Im Projekt EmoAdapt wer­den zunächst mit neuesten Methoden der Hirnbildgebung Muster aktivierter Hirnareale bei ver­schie­denen Emo­ti­onen und Dispositionen aufge­nom­men und zugeordnet. Anschließend wird über Hirn-Com­puter-Schnittstellen die Hirnaktivie­rung während einer Interaktion gemessen. Hierzu wird Echtzeit-Magnetresonanztomographie (rt-fMRT) bei 7T und 3T, EEG und simultane rt-fMRI/EEG verwendet. Dies soll dem Com­puter ermöglichen, in Echtzeit innerhalb einer simulierten Welt (Virtual Reality) auch komplexe Interaktionen an das  momentane Befinden des Nutzers anzupassen. Hierzu werden neue Strategien entwickelt werden, um in der Interaktion Mensch-Maschine neurobiologisch fundierte Parameter für Emotionen (z.B. Pulsrate) einzubeziehen. Ethische, rechtliche und datenschutzrelevante Fragen werden als wichtige Aspekte in die Untersuchung einbezogen. 

Das Projekt ist ein Kooperationsprojekt zwischen der Otto-von-Guericke-Universität Magdeburg (Projektleiter Prof. Dr. Dr. J. Bernarding, Institut für Biometrie und Medizinische Informatik (IBMI), Teilprojektleiterin PD Dr. K. Krauel, Klinik für Psychiatrie, Psychosomatik und Psychotherapie des Kindes- und Jugendalters (KKJP); Teilprojektleiterin Prof. Dr. E. Brinkschulte, Fachbereich Geschichte, Ethik und Theorie der Medizin, (GET)) sowie dem Leibniz-Institut für Neurobiologie, Magdeburg (Projektleiter Dr. A. Brechmann).

EEG and real time MRI-based Brain-Computer-Interface and Virtual Reality environments for integrating emotions into man-machine interactions (EmoAdapt)

Manual input of data (and to some extend language- or motion-based controls) determine still most man-machine-interactions. But human factors such as rejection of machines, stress, excitement or reduced attention caused by fatigue or distraction can also influence strongly the interaction. However, these factors are usually not recognized by the machine, and can therefore not be taken into account during the man-machine interaction. Aim of the project EmoAdapt is therefore to use newest neuroimaging methods to detect in realtime patterns of brain activations correlated with specific different emotions or dispositions. Changes of the according brain activity is measured in real time using brain-computer-interfaces. We will use real time functional magnetic resonance imaging  (rt-fMRI) at 7T and 3T, EEG as well as simultaneous rt-fMRI/EEG measurements. This should enable the com­puter to detect directly emotional patterns and their changes during the interaction between man and machines, and to react accordingly to emotional factors. In our setting, virtual reality scenarios serve for modelling interactions between men and machines. These VR environments can be adapted by the machine in real time to accommodate to the users needs. Additionally, new strategies will be developed to integrate neurobiological parameters such as heart rate into the estimation of the interaction. Ethical, legal and data security issues are important parts of the project.

The project is a cooperation project between the Otto-von-Guericke-Universität Magdeburg (leader of project Prof. Dr. Dr. J. Bernarding, Institut für Biometrie und Medizinische Informatik (IBMI), leader of subproject PD Dr. K. Krauel, Klinik für Psychiatrie, Psychosomatik und Psychotherapie des Kindes- und Jugendalters (KKJP); leader of subproject Prof. Dr. E. Brinkschulte, Fachbereich Geschichte, Ethik und Theorie der Medizin, (GET)) together with the Leibniz-Institut for Neurobiologie, Magdeburg (leader of project Dr. A. Brechmann).