| Hintergrund: Generative KI-Modelle wie ChatGPT werden zunehmend in der Dermatologie zur Hautkrebsdiagnose eingesetzt – trotz begrenzter Validierung. Diese Studie simuliert reale Abläufe in der hausärztlichen Versorgung, um die Lücke zwischen KI-Innovation und klinischer Anwendung zu schließen. Ziel ist es zu prüfen, ob sich generative KI sinnvoll in die dermatologische Triage integrieren lässt, insbesondere in unterversorgten Regionen mit eingeschränktem Zugang zu Fachärzt:innen. Zudem identifizieren Metriken zur diagnostischen Unsicherheit Bereiche, die eine Mensch-KI-Zusammenarbeit erfordern. Das Protokoll orientiert sich an den aktuellen Standards zur Berichterstattung diagnostischer Genauigkeit (STARD 2015) sowie den TRIPOD-AI-Richtlinien für transparente Modelle zur individuellen Prognose oder Diagnose.
Methoden und Analyse: In dieser retrospektiven, querschnittlichen Studie zur diagnostischen Genauigkeit wurden 750 prospektiv kuratierte dermatoskopische Bilder (533 benigne, 217 maligne/präkanzeröse) aus validierten Quellen (International Skin Imaging Collaboration Archive, DermNet New Zealand, dermatologische Fachliteratur) analysiert. Die Läsionen umfassten melanozytäre, nicht-melanozytäre, keratinozytäre und vaskuläre Tumoren, um die diagnostische Vielfalt in der Praxis abzubilden. Diagnosen wurden von der öffentlich verfügbaren Version von GPT-4 Turbo mit Vision (OpenAI) anhand standardisierter, klinisch orientierter Prompts ohne klinische Metadaten generiert. Der Referenzstandard waren histopathologisch oder durch Expert:innen bestätigte Diagnosen.
Primärer Endpunkt: Gesamtdiagnostische Genauigkeit.
Sekundäre Endpunkte: diagnostische Sicherheit (Re-Prompting-Häufigkeit, nicht klassifizierbare Antworten), Läsions-spezifische Sensitivität/Spezifität, Triage-Leistung (benigne, präkanzerös, maligne), Erklärbarkeit und Therapieempfehlungen.
Ergebnisse: GPT-4 Turbo mit Vision erreichte eine Gesamtdiagnosegenauigkeit von 37,6 % (282/750; 95%-KI 34,1–41,1) über acht Läsionskategorien hinweg. Die Sensitivität variierte stark: am höchsten für Melanome (0,64; 95%-KI 0,50–0,76), am niedrigsten für aktinische Keratosen (0,07; 95%-KI 0,02–0,18). Die Spezifität lag breit gestreut zwischen 0,85 (Nävi) und 0,98 (SCC/aktinische Keratose). In Differenzierungen mit ähnlichem Erscheinungsbild betrug die Spezifität 0,80 für Melanom vs. atypische Nävi und 0,86 für SCC vs. aktinische Keratose. Der Cohen’s Kappa zeigte moderate Übereinstimmung für Nävi (κ=0,45) und Basalzellkarzinome (BCC, κ=0,36), jedoch nur minimale Übereinstimmung für SCC/aktinische Keratosen (κ≤0,17). In 32 Fällen (4,3 %, 95%-KI 3,0–5,9) war ein Re-Prompting nötig; es gab keine unklassifizierbaren Bilder (0,0 %, 95%-KI 0,0–0,5). Die Triage-Genauigkeit (benigne/präkanzerös/malign) lag bei 48,8 % (366/750; 95%-KI 45,2–52,4), wobei maligne Läsionen die höchste Sensitivität (0,77; 95%-KI 0,70–0,83) und präkanzeröse die niedrigste (0,11; 95%-KI 0,07–0,18) zeigten. Therapieempfehlungen stimmten in 27,7 % (208/750; 95%-KI 24,8–30,9) mit den Referenzstandards überein. Die Analyse der Erklärbarkeit ergab durchschnittlich 3,17 korrekt identifizierte dermatoskopische Merkmale pro Läsion (95%-KI 3,08–3,25), mit den höchsten Werten bei melanozytären Nävi (3,82) und Melanomen (3,76). |
