Projekt Marketing Claim Substantiation Study
Wenn Veränderungen messbare Ergebnisse bringen
Zu den Charakteristiken eines Medizinprodukts, das von der FDA während eines 510(k) Verfahrens überprüft wird, zählt neben der eigentlichen technischen Dokumentation auch die Evaluation von Marketingaussagen, die die Leistungsfähigkeit des Medizinprodukts beschreiben.
Für einen Hersteller mobiler Röntgensysteme hat Use-Lab eine Studie durchgeführt, in der der Effekt neuer Produktfeatures zur Verbesserung des Workflows während chirurgischer Eingriffe gemessen wurde.
Vorbereitung
Basierend auf den neuen Produktfeatures wurden erste Ideen und Aussagen über die gewünschte Leistungssteigerung getroffen. Diese Aussagen betrafen verschiedene Themengebiete wie zum Beispiel die verbesserte Kommunikation zwischen Chirurg:in und MTRAs, verkürzte Eingriffszeiten oder die Reduktion unnötiger Röntgenbilder.
Ausgehend von diesen Themengebieten wurden dann mit Hilfe eines Kodierungsschemas die einzelnen Messpunkte, auf denen das Studiendesign schlussendlich basierte, weiter definiert. Es ergaben sich sowohl objektive Messgrößen (z.B. Zeit bis zum ersten Bild, Anzahl der Versuche bis zum erfolgreichen Bild, Gesamtzeit) aber auch subjektive Messgrößen (z.B. wahrgenommene Arbeitsbelastung, wahrgenommene Gebrauchstauglichkeit).
Basierend auf den neuen Produktfeatures wurden erste Ideen und Aussagen über die gewünschte Leistungssteigerung getroffen. Diese Aussagen betrafen verschiedene Themengebiete wie zum Beispiel die verbesserte Kommunikation zwischen Chirurg:in und MTRAs, verkürzte Eingriffszeiten oder die Reduktion unnötiger Röntgenbilder.
Ausgehend von diesen Themengebieten wurden dann mit Hilfe eines Kodierungsschemas die einzelnen Messpunkte, auf denen das Studiendesign schlussendlich basierte, weiter definiert. Es ergaben sich sowohl objektive Messgrößen (z.B. Zeit bis zum ersten Bild, Anzahl der Versuche bis zum erfolgreichen Bild, Gesamtzeit) aber auch subjektive Messgrößen (z.B. wahrgenommene Arbeitsbelastung, wahrgenommene Gebrauchstauglichkeit).
Während der Studie wurden die Teilnehmenden gebeten, mehrere Bilder mit dem Röntgensystem aufzunehmen. Auf dem Flat Detector des Systems war eine schnurlose Kamera installiert, die die Bilder auf den im Röntgensystem integrierten Bildschirm übertrug. Als Modell diente eine anatomische Nachbildung des menschlichen Sakralbereiches, in die Metallröhren in typischen Projektionsebenen eingebracht wurden. Ziel war es, die Kamera so zu positionieren, dass nach Auslösen der Kamera ein Bild entstand, durch das man mehr oder weniger genau durch eine Röhre schauen konnte.
Insgesamt gab es sieben Röhren und damit sieben möglichen Positionen. Davon ausgehend wurden verschiedene Sequenzen erarbeitet. Insgesamt wurden die Teilnehmenden gebeten, 25 einzelne Positionen anzufahren. Bei 30 Testsessions ergaben sich so bis zu 750 Einzelpositionen für die spätere Auswertung.
Für die Studie wurden Teams aus Ärzt:innen und MTRAs, die sich nicht kannten, eingeladen, um so z.B. Aussagen bezüglich einer reduzierten Fehlkommunikation überprüfen zu können, und einzelne MTRAs wurden gebeten, die Benutzerfreundlichkeit des Gesamtsystems zu überprüfen.
Zum Vergleich wurden die neuen Features bei einigen Durchläufen aktiviert und bei anderen deaktiviert. Die Reihenfolge der Durchführung mit und ohne Features wurde zwischen den einzelnen Teilnehmenden alterniert, um eventuell auftretende Gewöhnungs- und Lerneffekte auszugleichen.
Datenaufnahme & Analyse
Die einzelnen Test-Sessions wurden für die spätere Datenanalyse auf Audio und Video aufgezeichnet. Während der Sessions wurden insbesondere die verschiedenen Zeiten für die Aufgabenbewältigung, die Anzahl der benötigten Bilder sowie die Anzahl von Fehlkommunikationen etc. beobachtet. Die finalen Daten wurden mit einem Statistikprogramm ausgewertet und die Signifikanztests für jede der zuvor aufgestellten Hypothesen durchgeführt.
Ergebnisse
Auf Basis der Daten konnte ein Großteil der zuvor erstellten Marketing Claims mit signifikant relevanten Daten untermauert werden. Die Verwendung der Features führte unter anderem zu folgenden Ergebnissen:
- 45% weniger Bewegung in die falsche Richtung bei der Positionierung
- 45% weniger Fälle von Fehlkommunikation
- Geringeres Frustrationsempfinden bei der (Re-)Positionierung
(-48% bei Ärzt:innen, -72% bei MTRAs) - 55% weniger Bilder für die Re-Positionierung
Das entsprechende White Paper des Herstellers finden Sie hier.