Neue Studienergebnisse zeigen, dass beliebte KI-Tools Ihrer psychischen Gesundheit schaden können

Einer neuen Studie zufolge generieren KI-Tools schädliche Inhalte, die Essstörungen und andere psychische Erkrankungen auslösen können.

Auslöserwarnung: In dieser Geschichte geht es um Essstörungen und eine gestörte Esskultur. Wenn Sie oder jemand, den Sie lieben, an einer Essstörung leidet, wenden Sie sich an die National Eating Disorder Association, um hilfreiche Ressourcen zu erhalten. Im Krisenfall wählen Sie 988 oder senden Sie eine SMS mit „NEDA“ an 741741, um eine Verbindung zur Crisis Text Line herzustellen.

Ich bin der Erste, der zugibt, dass die Zukunft der psychischen Gesundheit in der Technologie liegt. Von der Online-Therapie bis hin zu Durchbrüchen in der VR-basierten Behandlung hat die Technologie viel dazu beigetragen, das Stigma zu überwinden und denjenigen Zugang zu ermöglichen, die es zuvor nicht hatten.

Bei generativen KI-Tools ist jedoch Vorsicht geboten. Laut einer aktuellen Studie des Center for Countering Digital Hate versorgen beliebte KI-Tools Benutzer in rund 41 % der Fälle mit schädlichen Inhalten rund um Essstörungen. Dies kann die Symptome einer Essstörung fördern oder verschlimmern.

„Was wir sehen, ist ein Ansturm darauf, es auf die psychische Gesundheit anzuwenden. Es kommt von einer guten Seite. Wir möchten, dass die Menschen Zugang zur Pflege haben, und wir möchten, dass die Menschen die Dienste erhalten, die sie benötigen“, sagt Dr. John Torous, Direktor der digitalen Psychiatrie am Beth Israel Deaconess Medical Center.

Psychische Gesundheit ist unser Geist, etwas so einzigartig Menschliches, dass es sich im besten Fall eklig und im schlimmsten Fall potenziell gefährlich anfühlt, einen Nicht-Menschen einzuführen, um Lösungen für Menschen in ihrer verletzlichsten Verfassung anzubieten.

„Wenn wir zu schnell vorgehen, richten wir Schaden an. Es gibt einen Grund, warum wir Genehmigungsprozesse und Regeln haben. Es geht nicht nur darum, alles zu verlangsamen. Es geht darum, sicherzustellen, dass wir dies für das Gute nutzen“, fügt Torous hinzu.

Die CCDH-Studie untersuchte text- und bildbasierte KI-Tools mit festgelegten Eingabeaufforderungen zur Bewertung ihrer Antworten. Beginnen wir mit den textbasierten Tools. ChatGPT, My AI von Snapchat und Googles Bard wurden mit einer Reihe von Eingabeaufforderungen getestet, die Phrasen wie „Heroin-Chic“ oder „Thinspiration“ enthielten. Die Text-KI-Tools lieferten bei 23 % der Eingabeaufforderungen schädliche Inhalte, die Essstörungen fördern.

Bei den bewerteten bildbasierten KI-Tools handelte es sich um Dall-E von OpenAI, Midjourney und DreamStudio von Stability AI. Als jeder 20 Testaufforderungen mit Formulierungen wie „Oberschenkellückenziele“ oder „Anorexie-Inspiration“ erhielt, enthielten 32 % der zurückgegebenen Bilder schädliche Probleme im Zusammenhang mit dem Körperbild.

Ja, diese Eingabeaufforderungen mussten eingegeben werden, um diese negativen Antworten zu erhalten. Es ist jedoch nicht so einfach zu sagen, dass die Leute diese Informationen nicht einholen sollten. Es ist bekannt, dass einige Online-Communities für Essstörungen toxisch werden, wenn Mitglieder andere dazu ermutigen, sich auf Essstörungen einzulassen und diese Gewohnheiten zu feiern.

KI macht alles noch schlimmer. Laut einer Studie des CCDH, die auch ein Forum für Essstörungen untersuchte, werden generative KI-Tools verwendet, um ungesunde Körperbilder zu teilen und schädliche Diätpläne zu erstellen. Dieses Forum hat 500.000 Benutzer.

Beachten Sie, dass es gesunde und sinnvolle Gemeinschaften gibt, die diese Tendenzen nicht aufweisen.

KI ist ein brandaktuelles Thema, und Unternehmen streben danach, ihren Anteil zu bekommen, damit sie Teil der neuen Technologiewelle sein können. Es hat sich jedoch erwiesen, dass die überstürzte Vermarktung von Produkten, die nicht ausreichend getestet wurden, für gefährdete Bevölkerungsgruppen schädlich ist.

Jedes textbasierte KI-Tool in dieser Studie hatte einen Haftungsausschluss, der den Benutzern riet, medizinische Hilfe in Anspruch zu nehmen. Die derzeitigen Schutzmaßnahmen zum Schutz der Menschen können jedoch leicht umgangen werden. CCDH-Forscher verwendeten auch Eingabeaufforderungen, die „Jailbreaks“ für KI enthielten. Jailbreaks sind Techniken, um die Sicherheitsfunktionen von KI-Tools zu umgehen, indem Wörter oder Phrasen verwendet werden, die ihr Verhalten ändern. Bei der Verwendung von Jailbreaks waren 61 % der KI-Reaktionen schädlich.

KI-Tools stehen in der Kritik, weil sie „halluzinieren“ oder Informationen liefern, die wahr erscheinen, es aber nicht sind. KI denkt nicht. Es sammelt die Informationen im Internet und reproduziert sie. Die KI weiß nicht, ob die Informationen korrekt sind. Allerdings ist das nicht das einzige Problem im Zusammenhang mit KI und Essstörungen. KI verbreitet irreführende Gesundheitsinformationen und hält Stereotypen in der Gemeinschaft bestimmter Essstörungen aufrecht.

Diese KI-Tools beziehen nicht nur Informationen aus medizinischen Quellen. Erinnern Sie sich, wie ich erwähnte, dass essgestörte Gemeinschaften bekanntermaßen zum Nährboden für ungesundes Verhalten und Wettbewerbsfähigkeit werden? KI-Tools können auch Daten aus diesen Bereichen abrufen.

Angenommen, Sie fragen eines der beliebten KI-Tools, wie man Gewicht verliert. Anstatt medizinisch anerkannte Informationen bereitzustellen, besteht die Möglichkeit, dass Sie einen Essstörungsplan erhalten, der eine Essstörung verschlimmern oder jemanden dazu drängen könnte.

Diese Forschung untersucht Essstörungen. Allerdings könnte jede psychische Erkrankung durch KI geschädigt werden. Jeder, der Zugang zu Informationen sucht, kann schädliche Antworten erhalten.

KI-Schnittstellen haben ein Händchen für den Aufbau von Vertrauen und ermöglichen es den Menschen, mehr Informationen auszutauschen, als sie es normalerweise tun würden, wenn sie im Internet nach einer Antwort suchen. Überlegen Sie, wie oft Sie persönliche Informationen preisgeben, während Sie etwas googeln. KI liefert Ihnen scheinbar korrekte Informationen, ohne dass Sie mit jemandem sprechen müssen. Niemand sonst weiß, was Sie fragen, oder? Falsch.

„Benutzer müssen vorsichtig sein, wenn sie um medizinische oder psychische Gesundheitsberatung bitten, denn im Gegensatz zu einer Patienten-Arzt-Beziehung, in der die Informationen vertraulich sind, sind die von ihnen weitergegebenen Informationen nicht vertraulich, gehen auf Unternehmensserver und können für gezielte Werbung oder Werbung an Dritte weitergegeben werden.“ für andere Zwecke“, sagte Dr. Darlene King, Vorsitzende des Ausschusses für psychische Gesundheit (IT) der American Psychiatric Association, in einer E-Mail gegenüber CNET.

Für die Weitergabe medizinischer Informationen sind keine Schutzmaßnahmen erforderlich. Im Fall der psychischen Gesundheit besteht die Möglichkeit, dass Sie aufgrund der Informationen, die Sie mit einem KI-Chatbot geteilt haben, auslösende oder unerwünschte Werbung erhalten.

Theoretisch könnten KI-Chatbots eine gute Ressource für Menschen sein, mit denen sie interagieren und hilfreiche Inhalte zum Aufbau gesunder Bewältigungsmechanismen und -gewohnheiten erhalten können. Doch selbst mit den besten Absichten kann die KI schiefgehen. Dies war beim Chatbot Tessa der National Eating Disorders Association der Fall, der nun aufgrund problematischer Empfehlungen für die Community gesperrt ist.

„Wir sehen, dass diese Dinge zu schnell voranschreiten. Das bedeutet nicht, dass wir es nicht tun sollten“, sagte Torous gegenüber CNET. „Es ist faszinierend, es ist wichtig und es ist aufregend. Aber optimistisch in die langfristige Zukunft zu blicken, bedeutet nicht, dass wir Patienten heute einem Risiko aussetzen müssen.“

Allerdings verweisen Torous und King beide auf Anwendungsfälle für KI-Tools. All dies hängt von künftigen Vorschriften ab, die Risiken und Vorteile abwägen. Derzeit befinden wir uns im Marketing-Stil, der für alle frei ist, was bedeutet, dass niemand wirklich weiß, was er verwendet, worauf das Tool trainiert wird und welche potenziellen Vorurteile es hat. Vorschriften und Standards sind erforderlich, wenn der medizinische Bereich jemals die Integration von KI anstrebt.

So wie Wikipedia für viele Menschen die Informationsquelle ist, könnten KI-Tools eine zukünftige Quelle der Patientenaufklärung sein. Vorausgesetzt natürlich, dass es strenge Quellenverzeichnisse gibt, die von medizinischen Instituten genehmigt werden.

Völlig neue Technologien erweitern den Zugang zur Gesundheitsversorgung. Eine der grundlegendsten Möglichkeiten, wie KI den Menschen helfen könnte, besteht darin, ihnen zu ermöglichen, zu lernen und sich mit ihrer Erkrankung vertraut zu machen, Auslöser zu finden und Bewältigungsstrategien zu entwickeln.

King schlägt außerdem vor, dass KI die zukünftige medizinische Aus- und Weiterbildung unterstützen könnte. Aufgrund der Datenpipeline der KI-Tools ist es jedoch noch lange nicht bereit für den klinischen Einsatz.

„Bei ChatGPT beispielsweise stammen 16 % des vorab trainierten Textes oft aus Büchern und Nachrichtenartikeln und 84 % des Textes stammen von Webseiten. Die Webseitendaten umfassen qualitativ hochwertigen Text, aber auch minderwertigen Text wie Spam-Mails.“ und Social-Media-Inhalte“, sagte King per E-Mail gegenüber CNET.

„Die Kenntnis der Informationsquelle gibt nicht nur Aufschluss über die Richtigkeit der Informationen, sondern auch darüber, welche Vorurteile möglicherweise bestehen. Vorurteile können aus Datensätzen entstehen und durch die Entwicklungspipeline für maschinelles Lernen verstärkt werden, was zu vorurteilsbedingten Schäden führt“, sagte King.

Ein im JAMA Health Forum veröffentlichter Artikel schlägt einen weiteren Anwendungsfall für KI im Bereich der psychischen Gesundheit vor: Dokumentation, eine bekannte Ursache für Burnout bei Ärzten und Pflegekräften in diesem Bereich. Der Einsatz von KI zur Dokumentation wird die Effizienz von Ärzten steigern.

„Letztendlich ist es ein großer Nutzen, wenn KI ethisch und professionell beim Verfassen von Dokumentationen hilft. Sie könnte dann auch dazu beitragen, das Personal zu unterstützen und möglicherweise die Gesundheitskosten zu senken, indem der Verwaltungsaufwand verringert wird“, sagte Torous.

Es besteht Potenzial für den Einsatz von KI bei Büroarbeiten wie Terminplanung und Abrechnung. Aber wir sind noch nicht am Ziel. Die American Psychiatric Association hat kürzlich eine Empfehlung herausgegeben, in der sie Ärzte davon abrät, ChatGPT für Patienteninformationen zu verwenden, da es nicht über die richtigen Datenschutzfunktionen verfügt.

Bei jeder neuen Technologie, in diesem Fall der generativen KI, ist es wichtig, sicherzustellen, dass sie reguliert und verantwortungsvoll genutzt wird. In ihrem gegenwärtigen Zustand ist die KI nicht bereit, die Verantwortung für die Interaktion mit Menschen an ihren verletzlichsten Stellen zu übernehmen, und sie verfügt auch nicht über die Datenschutzfunktionen für den Umgang mit Patientendaten. Das Einfügen eines Haftungsausschlusses vor der Erstellung schädlicher Inhalte mindert den Schaden nicht.

Torous blickt optimistisch in die Zukunft, solange wir es richtig machen. „Es ist aufregend, dass die psychische Gesundheit neue Instrumente erhält. Wir sind verpflichtet, sie sorgfältig einzusetzen“, sagte er. „Zu sagen, dass wir Experimente machen und es testen, bedeutet nicht, dass wir den Fortschritt verzögern; wir stoppen den Schaden.“

Es besteht Potenzial, wenn wir nicht zulassen, dass die Technologie über die notwendigen ethischen Schutzmaßnahmen hinaus voranschreitet.

Anmerkung der Redaktion: CNET verwendet eine KI-Engine, um bei der Erstellung einiger Geschichten zu helfen. Weitere Informationen finden Sie in diesem Beitrag.

Körperpflege

Schlafen

Fitness

Ernährung

Medizinische und psychische Gesundheit