Gesundheit

Technik deckt auf, ob die Modelle von Risiko für den Patienten korrekt sind

Nachdem ein patient einen Herzinfarkt oder Schlaganfall, die ärzte verwenden Risiko-Modelle, um zu helfen, Ihre Behandlung. Diese Modelle berechnen kann, einen Patienten dem Risiko zu sterben, basierend auf Faktoren wie dem Alter des Patienten, Symptome, und andere Merkmale.

Während diese Modelle sind in den meisten Fällen sinnvoll, Sie machen keine genauen Vorhersagen für viele Patienten, was dazu führen kann ärzte zu wählen, die unwirksam oder unnötig riskante Behandlungen für einige Patienten.

„Jedes risk-Modell bewertet, einige Datensatz des Patienten, und selbst wenn es hat eine hohe Genauigkeit, ist es nie 100 Prozent genau in der Praxis“, sagt Collin Stultz, ein professor für Elektrotechnik und informatik am MIT und Kardiologe am Massachusetts General Hospital. „Es gibt einige Patienten, für die das Modell bekommen die falsche Antwort, und das kann verheerend sein.“

Stultz und seine Kollegen vom MIT, der MIT-IBM-KI-Labors, und der University of Massachusetts Medical School haben nun eine Methode entwickelt, die es Ihnen erlaubt, um zu bestimmen, ob ein bestimmtes Modell den Ergebnissen vertraut werden kann, für einen gegebenen Patienten. Dies könnte helfen, ärzte zu wählen, bessere Behandlungen für die Patienten, sagen die Forscher.

Stultz, der auch ein professor für Gesundheitswissenschaften und Technologie, Mitglied des MIT-Institut für Medizintechnik und Wissenschaft und Forschung Labor für Elektronik und assoziiertes Mitglied des Computer Science and Artificial Intelligence Laboratory) ist der senior-Autor der neuen Studie. MIT-student Paul Myers ist der führende Autor des Papiers, die heute erscheint in der Digitalen Medizin.

Modellierung Risiko

Computer-Modelle, die Vorhersagen kann, kann ein patient das Risiko der schädlichen Ereignisse, einschließlich Tod, sind weit verbreitet in der Medizin. Diese Modelle sind oftmals durch Schulungen machine-learning-algorithmen zu analysieren, Patienten-Datensätze, die enthalten eine Vielzahl von Informationen über den Patienten, einschließlich Ihrer Gesundheit, Ergebnisse.

Während diese Modelle haben eine hohe Genauigkeit, „sehr wenig Gedanken gegangen in die Bestimmung, ob ein Modell ist wahrscheinlich ein Fehler,“ Stultz sagt. „Wir werden versuchen, um eine Verschiebung in der Weise, dass die Menschen denken über diese machine-learning-Modelle. Gedanken, wenn Sie zum anwenden einer Modell ist wirklich wichtig, da die Folge als falsch kann tödlich sein.“

Zum Beispiel, ein patient ein hohes Risiko, wer ist falsch klassifizierte nicht erhalten würde ausreichend aggressive Behandlung, während ein niedrig-Risiko-Patienten ungenau bestimmt werden, die ein hohes Risiko erhalten könnten unnötige, potenziell schädliche Eingriffe.

Um zu veranschaulichen, wie die Methode arbeitet, wählten die Forscher den Fokus auf ein weit verbreitetes Risiko-Modell genannt GRACE-Risiko-score, aber die Technik kann angewendet werden auf fast jeder Art von Risiko-Modell. Die GNADE, die Abkürzung für “ Global Registry of Acute Coronary Events, ist ein großes dataset, das verwendet wurde, um die Entwicklung eines Risiko-Modells, das wertet ein patient das Risiko des Todes innerhalb von sechs Monaten nach dem leiden eine akute koronare Syndrom (ein Zustand, verursacht durch verminderten Blutfluss zum Herzen). Die daraus resultierende Risikobewertung basierend auf Alter, Blutdruck, Herzfrequenz und anderen leicht verfügbaren klinischen Merkmale.

Die Forscher, die neue Technik erzeugt eine „Unzuverlässigkeit score“, der reicht von 0 bis 1. Für ein gegebenes Risiko-Modell die Vorhersage, desto höher die Punktzahl, desto mehr unzuverlässig, die Vorhersage. Die Unzuverlässigkeit score basiert auf einem Vergleich der Risiko-Vorhersage erzeugt, die von einem bestimmten Modell, wie z.B. der GRACE-Risiko-score, mit der Vorhersage produziert von einem anderen Modell, wurde ausgebildet auf dem gleichen Datensatz. Wenn die Modelle zu unterschiedlichen Ergebnissen führen, dann ist es wahrscheinlich, dass das Risiko-Modell-Vorhersage für die Patienten ist nicht verlässlich, Stultz sagt.

„Was wir zeigen in diesem Papier ist, wenn man sich auf Patienten, die die höchste Unzuverlässigkeit erzielt—in den top 1 Prozent—das Risiko, eine Prognose für die Patienten ergibt die gleichen Informationen wie das werfen einer Münze,“ Stultz sagt. „Für jene Patienten, die GRACE-score kann nicht unterscheiden zwischen denen, die sterben, und diejenigen, die nicht. Es ist völlig nutzlos für jene Patienten.“

Die Ergebnisse der Forscher auch vorgeschlagen, dass die Patienten, bei denen die Modelle nicht gut funktionieren tendenziell älter und haben eine höhere Inzidenz von kardialen Risikofaktoren.

Ein wesentlicher Vorteil der Methode ist, dass die Forscher abgeleitet, eine Formel, die sagt, wie viel zwei Vorhersagen widersprechen würde, ohne dass dort ein komplett neues Modell, basierend auf den original-Datensatz.

„Sie brauchen nicht Zugang zu den Trainings-dataset selbst, um zu berechnen, diese Unzuverlässigkeit der Messung, und das ist wichtig, weil es Datenschutz-Probleme, die verhindern, dass diese klinischen Datensätzen von allgemein zugänglich zu anderen Menschen,“ Stultz sagt.

Umschulung Modell

Die Forscher sind jetzt der Gestaltung einer Benutzeroberfläche, die ärzte verwenden könnte, um zu bewerten, ob ein patient die GRACE-score ist zuverlässig. Auf längere Sicht, Sie hoffen auch auf die Verbesserung der Zuverlässigkeit von Risiko-Modellen, indem es leichter zu umschulen, die Modelle auf Daten, die mehr Patienten, die ähnlich sind wie die der Patienten diagnostiziert werden.