Entwicklung und systematische Validierung eines Systems zur kontaktlosen, kamerabasierten Messung der Herzratenvariabilität

Die Herzratenvariabilität (HRV) stellt wichtige Informationen für die medizinische Analyse des Herz-Kreislauf-Systems und die Aktivität des autonomen Nervensystems, sowie für die Diagnose und Prävention von Krankheiten bereit. Bei den herkömmlich verwendeten Systemen zur Überwachung der HRV handelt es sich um kontaktbasierte Techniken, deren Sensoren direkt am Körper der Person angebracht werden müssen, etwa ein Elektrokardiogramm (EKG) oder kontaktbehaftete Photoplethysmographie(PPG)-Verfahren. Diese Verfahren eignen sich jedoch nur bedingt für die Langzeitüberwachung oder die Früherkennung von Krankheitssymptomen. Zudem können diese einige negative Auswirkungen für die zu messende Person mit sich bringen, wie bspw. Hautirritationen, ein gesteigertes Verbreitungsrisiko von Krankheitserregern aufgrund des direkten Kontakts, etc.Ziel dieses Forschungsvorhabens ist die optische Messung der Herzratenvariabilität (HRV) aus Videobildern im RGB- und NIR-Bereich unter Verwendung der PPG. Bei der PPG handelt es sich um eine optische, nicht-invasive Technologie, die mithilfe von Licht die volumetrischen Schwankungen der Blutzirkulation in der Haut aufzeichnet. Dieses Verfahren wurde in den letzten Jahren durch den Einsatz von Kameras auch kontaktlos auf Distanz realisiert und bereits erfolgreich für die Bestimmung der Herzrate (HR) aus Videodaten eingesetzt. Für die Messung der HRV ist eine zeitlich präzise Bestimmung der Herzschläge (Peaks) im PPG Signal notwendig. Die hohe Messgenauigkeit der HR im Stand der Technik wird durch eine starke zeitliche Filterung erreicht. Hierdurch ist eine genaue zeitliche Lokalisation der Herzschläge jedoch nicht mehr möglich. Eine Herausforderung dabei ist, dass bereits kleinste Bewegungen und Mimik der Probanden zu Artefakten im PPG Signal führen. Hier setzt dieses Forschungsvorhaben an, in dem diese Artefakte im PPG-Signal systematisch erfasst und anschließend kompensiert werden. Bisher basieren fast alle Verfahren zur Messung des PPG-Signals auf Farbwert-Mittelwertbildung von (Teil-)Bereichen der Haut im Gesicht. Eine Bewegungskompensation ist mit diesen Verfahren nicht möglich, da Positionsinformationen hierbei verloren gehen. Um Modelle zu trainieren, die invariant gegenüber Bewegungen sind, eignen sich tiefe neuronale Netze (Convolutional Neural Network (CNN)). Unter Verwendung von Verfahren zur 3D Kopfposeschätzung und der Action-Unit Erkennnung (Gesichtsmuskelbewegungen), soll ein System trainiert werden, um aus den Videodaten bewegungsinvariante PPG-Signale zu gewinnen. Dazu werden Informationen über die detektierten Hautregionen in jedem Bild mithilfe neuer Segmentationsverfahren auf CNN-Basis generiert und für die Bewegungskompensation verwendet. Die durch dieses Netz gewonnenen Daten sollen mit einem weiteren auf zeitliche Signalverarbeitung optimierten rekurrenten Netzen (Long Short-Term Memory (LSTM)) weiterverarbeitet werden, um die Pulspeaks im PPG-Signal zeitlich exakt zu bestimmen.

Development and systematic validation of a system for contactless, camera-based measurement of the heart rate variability

Heart rate variability (HRV) provides important information for the medical analysis of the cardiovascular system and the activity of the autonomic nervous system, as well as for the diagnosis and prevention of diseases. Traditional HRV monitoring systems are contact-based techniques that require sensors to be attached directly to the person's body, such as an electrocardiogram (ECG) or contact photoplethysmography (PPG). These techniques are only partially suitable for long-term monitoring or early detection of disease symptoms. In addition, they can have some negative effects on the monitored person, such as skin irritations, an increased risk of spreading disease germs due to direct contact, etc.The aim of this research project is the optical measurement of heart rate variability (HRV) from video images using PPG. PPG is an optical, non-invasive technology that uses light to record volumetric variations of blood circulation in the skin. In recent years, this technique has been realized remotely and contact-free through the use of cameras and has already been successfully used for the measurement of heart rate (HR) from video data. For the measurement of HRV a precise temporal determination of the heartbeat peaks in the PPG signal is necessary. The high measurement accuracy of HR in the state of the art can only be achieved by a strong temporal filtering. However, this makes it impossible to localize the heartbeats precisely over time. A challenge is that even smallest movements and facial expressions of the test persons lead to artifacts in the PPG signal. This is where this research project takes effect, by systematically detecting these artifacts in the PPG signal and subsequently compensating them. Up to now, almost all methods for measuring the PPG signal have been based on color value averaging of (partial) areas of the skin in the face. Movement compensation is not possible with these methods because position informations is lost. To train models that are invariant to movement, deep neural networks (Convolutional Neural Network (CNN)) are well suited. Using 3D head pose estimation methods and action unit recognition (facial muscle movements), a system will be trained to extract motion-invariant PPG signals from video data. For this purpose, information on detected skin regions in each image will be generated using new segmentation methods based on CNN and used for motion compensation. The data obtained by this network will be further processed with another recurrent neural network (Long Short-Term Memory (LSTM)) optimized for temporal signal processing in order to determine the pulse peaks in the PPG signal precisely in time.