Annotator-Machine-Interaction

Dieses interne Projekt umfasst Experimente, die das Verhalten von Annotatoren bei schwierigen Aufgaben untersuchen. Seit 2019 entwirft das OVGU-Team im KMD-Experimentierlabor Experimente, um das Vertrauen der Annotatoren und dessen Zusammenhang mit der Annotationsqualität bei Beschriftungsaufgaben zu untersuchen. Dieses Fachwissen wird im ITN genutzt, um den Prozess der Identifizierung von Ausreißern in den Daten zu unterstützen.

Im Folgenden stellen wir kurz zwei aktuelle Experimente vor:
In Zusammenarbeit mit der Universitätsmedizin Greifswald führen wir Annotationsexperimente an Gesundheitsdaten aus einer bevölkerungsbasierten Studie durch. Die Aufgabe der Triplett-Annotation besteht darin, zu entscheiden, ob ein Individuum eher einem Gesunden oder einem Menschen mit einer bestimmten Erkrankung ähnelt. Als Beispiel für eine Erkrankung wurde die hepatische Steatose herangezogen und die Individuen mit 10 vorausgewählten Merkmalen beschrieben, die mit dieser Erkrankung zusammenhängen. Wir erfassen die Aufgabendauer, die elektrodermale Aktivität als Stressindikator und die von den Versuchsteilnehmern (n = 29 Nicht-Experten und drei Experten) angegebene Unsicherheit für 30 Triplets. Wir haben einen künstlichen ähnlichkeitsbasierten Annotator (Artificial Similarity-Based Annotator, ASBA) erstellt und seine Korrektheit und Unsicherheit mit den Angaben der Versuchsteilnehmer verglichen.

Weitere Informationen finden Sie unter Veröffentlichungen.

Dieses erste Experiment bildete die Grundlage für weitere laufende Experimente zum Einfluss von Konfigurationen auf die Annotatorleistung.

Technologien spielen eine wichtige Rolle für die Annotationsqualität von Beschriftungsaufgaben. Daher arbeiten wir derzeit an einem systematischen Review zu Virtual Reality für medizinische Annotationsaufgaben. Unsere Arbeit untersucht die Vorteile, die VR für eine bessere Erfahrung und für ein besseres Verständnis der Annotatoren bietet.

This internal project involves experiments that investigate annotator behaviour for difficult tasks. Since 2019, the OVGU team designs experiments in the KMD Experiment Lab to study annotator confidence and its association to annotation quality for labeling tasks. This expertise will be used in the ITN to assist in the process of identifying outliers in the data.

In the following we briefly present two current experiments:
We conduct annotation experiments on health data from a population-based study in cooperation with the University Medicine Greifswald. The triplet annotation task is to decide whether an individual was more similar to a healthy one or to one with a given disorder. We use hepatic steatosis as example disorder, and described the individuals with 10 pre-selected characteristics related to this disorder. We record task duration, electro-dermal activity as stress indicator, and uncertainty as stated by the experiment participants (n = 29 non-experts and three experts) for 30 triplets. We built an Artificial Similarity-Based Annotator (ASBA) and compar its correctness and uncertainty to that of the experiment participants.

More information can be found under publications.

This first experiment formed the basis for further ongoing experiments on the influence of configurations on annotator performance.

Technologies plays an important role for the annotation quality of labeling tasks. Therefore we work at the moment on a Systematic Review on Virtual Reality for Medical Annotation Tasks. Our work investigates benefits offered by VR towards better experience and towards better understanding of annotators.