Projekt „Dame“
Durchführung des Usability Engineerings
Zusammen mit COSMONiO IMAGING B.V., UMC Groningen (UMCG), der Radiologie Westmünsterland und der Carl-von-Ossietzky Universität Oldenburg konnte sich Use-Lab sich im Rahmen des INTERREG-Programms am DAME-Projekt (Deep-Learning Algorithm for Medical Imaging Evaluation) beteiligen. Zentrale Aufgabe von Use-Lab war es, das Usability Engineering für diesen Deep Learning Algorithmus durchzuführen.
Literaturrecherche im Rahmen der Anforderungsanalyse
Um den Forschenden ein umfassenderes Wissen über die medizinische Bildgebung, ihre Grundlagen und etwaige Unterschiede zwischen Deutschland und den Niederlanden zu vermitteln, führte Use-Lab zunächst eine umfassende Literaturrecherche durch. Hierzu wurden diverse Quellen, wie beispielsweise nationale Statistiken, Gesetze und Richtlinien, wissenschaftliche Zeitschriften, Herstellerwebsites oder, soweit verfügbar, Berichte und Dokumentation vorhandener Systeme, zu Rate gezogen.
Nach abschließender Analyse der gesammelten Daten sowie der Anreicherung durch Use-Lab´s klinische Expertise und die Anwendung allgemeiner Richtlinien, entstand eine Übersicht über die aktuellen Industriestandards in der Computer-gestützten Diagnostik sowie die regionalen Unterschiede zwischen Deutschland und den Niederlanden.
Um den Forschenden ein umfassenderes Wissen über die medizinische Bildgebung, ihre Grundlagen und etwaige Unterschiede zwischen Deutschland und den Niederlanden zu vermitteln, führte Use-Lab zunächst eine umfassende Literaturrecherche durch. Hierzu wurden diverse Quellen, wie beispielsweise nationale Statistiken, Gesetze und Richtlinien, wissenschaftliche Zeitschriften, Herstellerwebsites oder, soweit verfügbar, Berichte und Dokumentation vorhandener Systeme, zu Rate gezogen.
Nach abschließender Analyse der gesammelten Daten sowie der Anreicherung durch Use-Lab´s klinische Expertise und die Anwendung allgemeiner Richtlinien, entstand eine Übersicht über die aktuellen Industriestandards in der Computer-gestützten Diagnostik sowie die regionalen Unterschiede zwischen Deutschland und den Niederlanden.
Feldstudie und semistrukturiertes Interview innerhalb der Anforderungsanalyse
Eine Feldstudie ist die naheliegende Wahl für die Erhebung von Daten von echten Benutzenden im Rahmen ihrer normalen Arbeitsabläufe. Hierbei werden die Aktivitäten des Benutzenden möglichst unauffällig beobachtet und anschließend besprochen.
Ein semistrukturiertes Interview ist eine Forschungsmethode, mit der fokussierte, qualitative Daten gesammelt werden. Diese Methode kann umfangreiche beschreibende Daten aus der Sicht von (potenziellen) Benutzenden aufdecken. In einem solchen, offenen, Interview wird den Benutzenden die Möglichkeit geboten, auf die Dinge einzugehen, die ihnen ganz besonders wichtig sind.
Für die vorliegende Studie brachte dies umfassende Einblicke in den Arbeitsablauf der medizinischen Bildgebung, wobei der Fokus auf der Erkundung der Anforderungen und Wünsche der Befragten, lag.
Eine Feldstudie ist die naheliegende Wahl für die Erhebung von Daten von echten Benutzenden im Rahmen ihrer normalen Arbeitsabläufe. Hierbei werden die Aktivitäten des Benutzenden möglichst unauffällig beobachtet und anschließend besprochen.
Ein semistrukturiertes Interview ist eine Forschungsmethode, mit der fokussierte, qualitative Daten gesammelt werden. Diese Methode kann umfangreiche beschreibende Daten aus der Sicht von (potenziellen) Benutzenden aufdecken. In einem solchen, offenen, Interview wird den Benutzenden die Möglichkeit geboten, auf die Dinge einzugehen, die ihnen ganz besonders wichtig sind.
Für die vorliegende Studie brachte dies umfassende Einblicke in den Arbeitsablauf der medizinischen Bildgebung, wobei der Fokus auf der Erkundung der Anforderungen und Wünsche der Befragten, lag.
Zusammenfassung der Ergebnisse
Insgesamt wurden 3 Standorte in den Niederlanden und Deutschland besucht. Hierbei wurden Workflows, Bildgenerierung, Bilderwerb, Befundung und Bericht, Arbeitsablauf in und nach der Radiologie, Software-Erfahrung der Expert:innen und DICOM-Datenstrukturen untersucht.
Animationsfilm Workflow der Radiologie
Nach der Anforderungsanalyse erstellte Use-Lab in Zusammenarbeit mit dem UMCG einen Animationsfilm, der in einfacher und verständlicher Weise die Vision von DAME erklären sollte. Das Ergebnis finden Sie hier:
Formative Studie
Zum Projektumfang gehörte ebenfalls eine formative Studie mit dem Ziel, Verbesserungspotential hinsichtlich Benutzerfreundlichkeit und Sicherheit der graphischen Benutzeroberfläche (GUI) zur Steuerung eines „deep-learning“ Algorithmus für die Auswertung der medizinischen Bildgebung durch potenzielle Benutzende (Radiolog:innen, Medizinphysiker:innen und MTRAs) herauszuarbeiten. Der Algorithmus wurde von COSMONiO BV aus Groningen entwickelt. Die KI-Plattform, die dahintersteht, heißt NOUS.
NOUS ist eine KI-Plattform, der beigebracht werden kann, bestimmte Muster in 2D-Bilddaten zu erkennen. Im Rahmen von DAME wird sie für eine Ausweitung der Einsatzmöglichkeiten für Radiolog:innen als auch für Medizinphysiker:innen weiterentwickelt.
Die formative Studie wurde als erweiterte Expertise durch das interdisziplinäre Human Factors Expertenteam von Use-Lab aus Anwendungsspezialisten, Ingenieuren, Usability-Experten und Designern durchgeführt. Die GUI wurde den Expert:innen vorgestellt und in einem kollektiven Brainstorming diskutiert und kritisch beurteilt. Zusätzlich wurde die Expertise durch die Befragung eines Radiologen und zweier Medizinphysiker:innen erweitert.
Ziel der Expertise war es, Stärken und Schwächen der GUI aufzuzeigen, wobei der Schwerpunkt auf der Benutzerfreundlichkeit der GUI für das Training des Algorithmus zur Erkennung bestimmten Gewebes in CT-Scans lag.
Auf Grundlage der Expertise und des Feedbacks externer Expert:innen wurden Empfehlungen für das Design der GUI erarbeitet, auf dessen Grundlage eine vollständig überarbeitete GUI entwickelt wurde.
Zum Projektumfang gehörte ebenfalls eine formative Studie mit dem Ziel, Verbesserungspotential hinsichtlich Benutzerfreundlichkeit und Sicherheit der graphischen Benutzeroberfläche (GUI) zur Steuerung eines „deep-learning“ Algorithmus für die Auswertung der medizinischen Bildgebung durch potenzielle Benutzende (Radiolog:innen, Medizinphysiker:innen und MTRAs) herauszuarbeiten. Der Algorithmus wurde von COSMONiO BV aus Groningen entwickelt. Die KI-Plattform, die dahintersteht, heißt NOUS.
NOUS ist eine KI-Plattform, der beigebracht werden kann, bestimmte Muster in 2D-Bilddaten zu erkennen. Im Rahmen von DAME wird sie für eine Ausweitung der Einsatzmöglichkeiten für Radiolog:innen als auch für Medizinphysiker:innen weiterentwickelt.
Die formative Studie wurde als erweiterte Expertise durch das interdisziplinäre Human Factors Expertenteam von Use-Lab aus Anwendungsspezialisten, Ingenieuren, Usability-Experten und Designern durchgeführt. Die GUI wurde den Expert:innen vorgestellt und in einem kollektiven Brainstorming diskutiert und kritisch beurteilt. Zusätzlich wurde die Expertise durch die Befragung eines Radiologen und zweier Medizinphysiker:innen erweitert.
Ziel der Expertise war es, Stärken und Schwächen der GUI aufzuzeigen, wobei der Schwerpunkt auf der Benutzerfreundlichkeit der GUI für das Training des Algorithmus zur Erkennung bestimmten Gewebes in CT-Scans lag.
Auf Grundlage der Expertise und des Feedbacks externer Expert:innen wurden Empfehlungen für das Design der GUI erarbeitet, auf dessen Grundlage eine vollständig überarbeitete GUI entwickelt wurde.
Webinars & Vorträge
Um Projektpartner und die Öffentlichkeit über Use-Labs Erkenntnisse im Rahmen des DAME-Projekts zu informieren, entwickelte Use-Lab ein Mini-Webinar zum Thema Vertrauen in Automatisierung (basierend auf Deep Learning-Algorithmen). Das Webinar ist auf YouTube über den Kanal der DASH-Plattform des UMCG auf Englisch abrufbar:
Zudem hat Use-Lab auf dem DAME-Symposium eine Präsentation zu den Ergebnissen aus den Recherchen gehalten. Untermauert wurden die Erkenntnisse mit Use-Labs Expertise auf dem Gebiet der Usability. Die Präsentation ist auf YouTube über den Kanal der DASH-Plattform des UMCG auf Englisch abrufbar:
Eye Tracking Studie
Im Rahmen des Projektes wurde weiterhin eine Eye Tracking Studie durchgeführt. Ziel dieser Studie war es, zu untersuchen, welchen Einfluss KI-Unterstützung auf die Annotation, d.h. Training eines Deep Neuronal Networks (DNN), hat.
Die Studie wurde mit insgesamt 10 Fachleuten aus dem Bereich medizinischer Bildgebung durchgeführt. In einer ersten Runde trainierten die Fachleute mit NOUS (s.o.) ein DNN zur Erkennung gesunder Organe in CT-Bilddaten ohne automatische Analyse. In einer zweiten Runde führten die Fachleute dieselbe Aufgabe mit Hilfe automatischer Analyse durch einen vortrainierten Algorithmus durch. Es wurden verschiedene Eye Tracking-Messungen vorgenommen, um zu untersuchen, welchen Einfluss die automatische Analyse auf die Leistung der Fachleute hatte.
Es zeigten sich in der Studie mehrere gegensätzliche Effekte. Beispielsweise ging in manchen Fällen die Einführung von KI-Unterstützung mit einer Verbesserung der Leistung für alle Arten von Aufgaben einher, in anderen Fällen jedoch mit einer Verringerung. Teilweise verbesserte die Einführung von KI-Unterstützung die Leistung bei den schwierigsten Aufgaben, während sie in anderen Fällen schwierige Aufgaben erzeugte. Drittens verbesserte sich manchmal die Spitzenleistung nach Einführung der KI-Unterstützung, während sie sich in anderen Fällen verschlechterte. Viertens arbeiteten Teilnehmer mit mehr Arbeitserfahrung besser manuell als mit KI-Unterstützung, während dies umgekehrt für weniger erfahrenere Teilnehmer ausfiel. Ihre Leistung konnte durch KI-Unterstützung verbessert werden. Insgesamt war festzustellen, dass sich KI-Unterstützung sowohl positiv als auch negativ auf die Arbeit von Fachleuten im Bereich medizinischer Bildgebung auswirken kann, wobei diese Effekte unterschiedlich begründet sein könnten.
Im Rahmen des Projektes wurde weiterhin eine Eyetracking Studie durchgeführt. Ziel dieser Studie war es, zu untersuchen, welchen Einfluss KI-Unterstützung auf die Annotation, d.h. Training eines Deep Neuronal Networks (DNN), hat.
Die Studie wurde mit insgesamt 10 Fachleuten aus dem Bereich medizinischer Bildgebung durchgeführt. In einer ersten Runde trainierten die Fachleute mit NOUS (s.o.) ein DNN zur Erkennung gesunder Organe in CT-Bilddaten ohne automatische Analyse. In einer zweiten Runde führten die Fachleute dieselbe Aufgabe mit Hilfe automatischer Analyse durch einen vortrainierten Algorithmus durch. Es wurden verschiedene Eyetracking-Messungen vorgenommen, um zu untersuchen, welchen Einfluss die automatische Analyse auf die Leistung der Fachleute hatte.
Es zeigten sich in der Studie mehrere gegensätzliche Effekte. Beispielsweise ging in manchen Fällen die Einführung von KI-Unterstützung mit einer Verbesserung der Leistung für alle Arten von Aufgaben einher, in anderen Fällen jedoch mit einer Verringerung. Teilweise verbesserte die Einführung von KI-Unterstützung die Leistung bei den schwierigsten Aufgaben, während sie in anderen Fällen schwierige Aufgaben erzeugte. Drittens verbesserte sich manchmal die Spitzenleistung nach Einführung der KI-Unterstützung, während sie sich in anderen Fällen verschlechterte. Viertens arbeiteten Teilnehmer mit mehr Arbeitserfahrung besser manuell als mit KI-Unterstützung, während dies umgekehrt für weniger erfahrenere Teilnehmer ausfiel. Ihre Leistung konnte durch KI-Unterstützung verbessert werden. Alles in allem konnten wir feststellen, dass KI-Unterstützung einen gewissen, positiven oder negativen, Einfluss auf die Arbeit von Fachleuten im Bereich medizinischer Bildgebung haben kann, wobei diese Effekte unterschiedlich begründet sein könnten.
Dieses Projekt wurde im Rahmen des INTERREG-Programms von der Europäischen Union und den INTERREG-Partnern finanziell unterstützt.
Funding Partners
Project Partners
