Zusammenfassung

Ein lokal betriebenes KI-System aus Dresden erreicht in standardisierten Tests bis zu 90 Prozent Diagnosegenauigkeit. Besonders aussagekräftig für die Verlässlichkeit war, ob die KI-Agenten bei Wiederholungen zur gleichen Diagnose kam.

Forschende des Else Kröner Fresenius Zentrums (EKFZ) für Digitale Gesundheit an der TU Dresden und des Universitätsklinikums Dresden haben einen KI-Agenten entwickelt, der vollständig auf […] Der Beitrag Lokaler KI-Agent erreicht 90 Prozent Diagnosegenauigkeit erschien zuerst auf mednic.de - News aus Medizin, Digital Health & IT.

Im Detail

Ein lokal betriebenes KI-System aus Dresden erreicht in standardisierten Tests bis zu 90 Prozent Diagnosegenauigkeit. Besonders aussagekräftig für die Verlässlichkeit war, ob die KI-Agenten bei Wiederholungen zur gleichen Diagnose kam.

Forschende des Else Kröner Fresenius Zentrums (EKFZ) für Digitale Gesundheit an der TU Dresden und des Universitätsklinikums Dresden haben einen KI-Agenten entwickelt, der vollständig auf lokaler Infrastruktur betrieben werden kann. Damit sollen sensible Gesundheitsdaten innerhalb der jeweiligen Einrichtung bleiben.

Zugleich untersucht das System, wie zuverlässig eine von der KI gestellte Diagnose ist. Die Ergebnisse wurden in Nature Medicine veröffentlicht.

Getestet wurde der Ansatz anhand anonymisierter klinischer Daten. In einer Simulationsumgebung übernahm ein KI-Agent die Rolle des Arztes und konnte unter anderem Rückfragen stellen sowie Befunde und Laborwerte anfordern. Auf einem Benchmark mit sieben Erkrankungen erreichte das beste lokal betriebene Modell eine Diagnosegenauigkeit von 90,0 Prozent.

Ein cloudbasiertes Vergleichsmodell kam auf 90,7 Prozent. Bei einem zweiten Test mit vier Diagnosegruppen erreichte das lokale Modell 83,8 Prozent.

Konsistenz zeigt Unsicherheit

Ein Schwerpunkt der Studie lag auf der Frage, wie sich erkennen lässt, ob einer KI-Diagnose vertraut werden kann. Als besonders aussagekräftig erwies sich die sogenannte diagnostische Konsistenz: Kam das System bei mehreren Durchläufen desselben Falls immer wieder zum gleichen Ergebnis, war die Diagnose häufiger korrekt.

Bei einem festgelegten Konsistenz-Schwellenwert wären rund 49 Prozent der untersuchten Fälle vom KI-System übernommen worden. Innerhalb dieser Gruppe lag die Diagnosegenauigkeit bei 98,9 Prozent. Fälle mit geringerer Konsistenz könnten dagegen gezielt an medizinisches Fachpersonal zur Überprüfung weitergeleitet werden. Die Forschenden sprechen hier von „selektiver Autonomie“.

Dass interne Wahrscheinlichkeitswerte einer KI allein nicht ausreichen, zeigte ein zusätzlicher Stresstest. Wurden dem System relevante Informationen vorenthalten, sank die diagnostische Genauigkeit von 90,6 auf 70,2 Prozent. Einige der vom Modell ausgegebenen Wahrscheinlichkeitswerte blieben dennoch hoch. Die Konsistenz der Diagnosen reagierte dagegen deutlich auf die schlechtere Informationslage.

Klinischer Einsatz von KI-Agenten noch nicht untersucht

Die Ergebnisse stammen bislang aus retrospektiven Simulationen mit vorhandenen Patientendaten. Im laufenden Klinikbetrieb wurde das System noch nicht getestet. Zudem fanden die Forschenden Hinweise darauf, dass die Diagnosegenauigkeit bei älteren Patientengruppen geringer ausfallen könnte. Die Ursachen dafür sind noch unklar und sollen weiter untersucht werden.

Als nächsten Schritt will das Team den Ansatz unter realistischeren Bedingungen mit Ärztinnen und Ärzten im Prozess sowie mit einem breiteren Spektrum an Erkrankungen und klinischen Daten prüfen.

Der Beitrag Lokaler KI-Agent erreicht 90 Prozent Diagnosegenauigkeit erschien zuerst auf mednic.de - News aus Medizin, Digital Health & IT.