Loading
Medizinische Universität Graz    

Meine Abschlussarbeiten - Publikationen

Diplomarbeit - Detailansicht
Wichtigste Meldungen anzeigenMeldungsfenster schließen
Bibliografische Informationen
 Evaluierung des Einflusses von Präannotationen auf Annotationen klinischer Freitexte  
 Methoden der künstlichen Intelligenz (KI) sind auf qualitativ hochwertige Trainings- und Evaluationsdaten angewiesen. Insbesondere im Bereich des klinischen Natural Language Processing (NLP) stellen manuell annotierte klinische Texte eine wichtige Grundlage dar, um KI-Systeme zu trainieren, weiterzuentwickeln und ihre Ergebnisse anhand verlässlicher Referenzstandards zu evaluieren. Die Erstellung solcher Daten ist jedoch zeitintensiv und erfordert sowohl gut geschulte Annotator*innen als auch klar ausgearbeitete Annotationsguidelines.

Gegenstand der Diplomarbeit ist die Evaluierung eines guideline-gestützten Annotationsprozesses unter zwei Bedingungen: ohne Präannotation und mit Präannotation. Präannotationen bezeichnen dabei automatisch erzeugte Annotationsvorschläge, die den Annotator*innen bereits vor Beginn der manuellen Bearbeitung angezeigt werden. Sie können den Annotationsprozess potenziell unterstützen, indem sie Arbeitsschritte vorwegnehmen und dadurch den manuellen Aufwand reduzieren. Gleichzeitig müssen fehlerhafte oder unvollständige Präannotationen von den Annotator*innen erkannt, überprüft und gegebenenfalls korrigiert werden, wodurch der erwartete Zeitgewinn abgeschwächt oder aufgehoben werden kann.

Vor diesem Hintergrund werden in der Diplomarbeit zwei zentrale Fragestellungen untersucht. Erstens wird analysiert, inwieweit Präannotationen den Annotationsprozess effizienter gestalten. Zweitens wird untersucht, inwieweit der Einsatz von Präannotationen in Kombination mit einer Annotationsguideline ein konsistentes Annotationsergebnis unterstützt. Dazu annotieren zwei trainierte Annotator*innen dieselbe Textstichprobe unter den jeweiligen Bedingungen. Anschließend wird die Zeitparameter und das Inter-Annotator-Agreement anhand verschiedener Aspekte der Annotation gemessen. Neben quantitativen Parametern wie Cohen’s Kappa werden abweichende Annotationsentscheidungen qualitativ analysiert und diskutiert. Auf diese Weise soll beurteilt werden, ob Präannotationen nicht nur die Effizienz, sondern auch die Konsistenz des Annotationsprozesses beeinflussen.

 
 Annotation, Präannotation, Natural Language Processing, klinische Freitexte, Sprachmodelle  
 
 –  
Autorinnen*Autoren / Co-Autorinnen*Co-Autoren
  Alloch, Heba
Betreuende Einrichtung / Studium
  Institut für Medizinische Informatik, Statistik und Dokumentation
 UO 202 Humanmedizin  
Betreuung / Beurteilung
  Schulz, Stefan; Univ.-Prof. Dr.med.
  Kreuzthaler, Markus Eduard; Assoz. Prof. Priv.-Doz. Dipl.-Ing. Dr.scient.med.