Mind the gap: navigating digital mental health in the age of AI

Verantwortungsvoller Einsatz von KI im Bereich der psychischen Gesundheit

KI wird bereits im Bereich der psychischen Gesundheit eingesetzt, doch der verantwortungsvolle Einsatz hinkt den technologischen Möglichkeiten hinterher. Kommerzielle LLMs unterscheiden sich von zertifizierten Medizinprodukten, da ihnen trotz wahrgenommener Vorteile wie sofortigem Zugang, geringerer Stigmatisierung und Psychoedukation die klinische Validierung, Sicherheitsüberwachung, Governance und Eskalationswege fehlen.

Der klinische Nutzen übertrifft die technische Leistungsfähigkeit

Technische Leistungsfähigkeit allein belegt noch keinen klinischen Nutzen. Kliniker bewerten externe Validierung, Verzerrungen in den Trainingsdaten, die Eignung für den Arbeitsablauf, menschliche Aufsicht, Datenschutz, Einwilligung, Berichterstattung zur Gerechtigkeit und Modelldrift, insbesondere weil ältere Erwachsene in Evidenz- und Trainingsdatensätzen unterrepräsentiert sind.

Ältere Erwachsene benötigen maßgeschneiderte Schutzmaßnahmen

Ältere Erwachsene sind heterogen und benötigen altersgerechte Unterstützung, Benutzerfreundlichkeit, Unterstützung der Gesundheitskompetenz und klinische Aufsicht. Die Diskussionen konzentrieren sich auf die Überprüfung der Genauigkeit, den Datenschutz, die Eskalation in Krisensituationen, Grenzen und die Wahrung menschlichen Kontakts, insbesondere weil die selbstsichere Sprache von LLMs, die Vermenschlichung und Schmeichelei die Verletzlichkeit erhöhen können.

In der Fortbildungssitzung „Mind the Gap: Navigation durch digitale psychische Gesundheit im Zeitalter der KI“, organisiert von der Klinik Barmelweid, untersucht Dr. Christine Jacob die wachsende Rolle der KI in der psychischen Gesundheitsversorgung, mit besonderem Fokus auf ältere Erwachsene und die klinische Umsetzung in der Praxis. Sie unterscheidet zertifizierte KI-gestützte Instrumente für die psychische Gesundheit von allgemeinen Large Language Models und betont, dass Letztere zwar breit zugänglich sind, jedoch keine klinische Validierung, Sicherheitsüberwachung, Governance oder Eskalationspfade aufweisen. Dr. Jacob skizziert fünf zentrale Anwendungsbereiche von KI in der psychischen Gesundheit: Beurteilung und Screening, therapeutische Systeme, klinische Entscheidungsunterstützung, Monitoring und Phänotypisierung sowie administrative Unterstützung. Zugleich weist sie darauf hin, dass die derzeitige Evidenzbasis am stärksten für Depression und psychische Belastung, diagnostische und prädiktive Instrumente, niedrigschwellige ergänzende Unterstützung sowie Entscheidungsunterstützung ist. Ein zentrales Thema ist die Lücke zwischen technischer Leistungsfähigkeit und klinischem Nutzen, wobei sie die Bedeutung externer Validierung, Workflow-Integration, menschlicher Aufsicht, Datenschutz, Einwilligung, Berichterstattung zu Gerechtigkeit und organisatorischer Bereitschaft über vielversprechende Ergebnisse interner Validierung hinaus hervorhebt. Im Hinblick auf geriatrische Populationen betont sie die Heterogenität innerhalb der Gruppe älterer Erwachsener, die Relevanz digitaler und KI-Kompetenz, sensorischer und kognitiver Zugänglichkeit, sozialer Isolation sowie die erhöhten Risiken epistemischer Verwundbarkeit, Abhängigkeit, Gefallsucht und unzureichender Krisenerkennung, wenn kommerzielle Chatbots zur Unterstützung der psychischen Gesundheit eingesetzt werden. Dr. Jacob argumentiert, dass Klinikerinnen und Kliniker die Nutzung solcher Instrumente nicht einfach entmutigen sollten, sondern stattdessen den wahrgenommenen Nutzen und die Risiken mit Patientinnen und Patienten besprechen, Verifikations- und Kalibrierungsverhalten stärken, Datenschutz- und Offenlegungspraktiken thematisieren und Grenzen für Eskalation und Nachverfolgung definieren sollten. Insgesamt rahmt die Sitzung den verantwortungsvollen Einsatz von KI in der psychischen Gesundheit als eine soziotechnische Herausforderung, bei der Klinikerinnen und Kliniker für Diagnose, Risikobewertung, therapeutische Beziehungen, gemeinsame Entscheidungsfindung und Krisenmanagement verantwortlich bleiben und KI nur als unterstützende Ergänzung einsetzen sollten.