Robot de IA como terapeuta: la plataforma de salud mental de EE. UU. que usa ChatGPT en el asesoramiento genera controversia

La salud mental es un tema bastante complicado de tratar, incluso con las mejores intenciones. La confianza, tanto en el consejero como en el proceso, es muy importante. Entonces, ¿cómo encajan la inteligencia artificial y el aprendizaje automático en todo esto? Una plataforma estadounidense de salud mental realizó recientemente un experimento para descubrir cómo la IA, específicamente ChatGPT, se puede usar en el asesoramiento. Desafortunadamente para ellos, el experimento generó más problemas de los que resolvió.
Koko, una plataforma de salud mental, usó ChatGPT en sesiones de asesoramiento con más de 4000 usuarios, lo que generó preocupaciones éticas sobre el uso de bots de IA para tratar la salud mental. Koko es una plataforma de salud mental sin fines de lucro que conecta a adolescentes y adultos que necesitan ayuda de salud mental con voluntarios a través de aplicaciones de mensajería como Telegram y Discord. El viernes, el cofundador de Koko, Rob Morris, anunció en Twitter que su empresa realizó un experimento para brindar asesoramiento sobre salud mental escrito por IA a 4000 personas sin informarles primero, para ver si podían detectar alguna diferencia. Los críticos han calificado el experimento como profundamente poco ético porque Koko no obtuvo el consentimiento informado de las personas que buscaban asesoramiento. Koko trabaja a través de un servidor de Discord, los usuarios inician sesión en el servidor de Koko Cares y envían mensajes directos a un bot de Koko que hace varias preguntas de opción múltiple como “¿Cuál es el pensamiento más oscuro que tienes sobre esto?”. Luego comparte las inquietudes de una persona, escritas como unas pocas oraciones de texto, de forma anónima con otra persona en el servidor que puede responder de forma anónima con un mensaje corto propio. Durante el experimento de IA, que se aplicó a unos 30 000 mensajes, los voluntarios que brindaban asistencia a otros tenían la opción de usar una respuesta generada automáticamente por el modelo de lenguaje grande GPT-3 de OpenAI, el modelo en el que se basa ChatGPT, en lugar de escribir una ellos mismos. Después del experimento, Morris abrió un hilo en Twitter que explicaba el experimento que habían realizado. Aquí es donde las cosas se pusieron feas para Koko. Morris dice que las personas calificaron altamente las respuestas elaboradas por IA hasta que supieron que fueron escritas por IA, lo que sugiere una falta clave de consentimiento informado durante al menos una fase del experimento. Morris recibió muchas respuestas criticando el experimento como poco ético, citando preocupaciones sobre la falta de consentimiento informado y preguntando si una Junta de Revisión Institucional (IRB) aprobó el experimento. La idea de utilizar la IA como terapeuta está lejos de ser nueva, pero la diferencia entre el experimento de Koko y los enfoques típicos de la terapia de IA es que los pacientes normalmente saben que no están hablando con un ser humano real. En el caso de Koko, la plataforma proporcionó un enfoque híbrido en el que un intermediario humano podía obtener una vista previa del mensaje antes de enviarlo, en lugar de un formato de chat directo. Aún así, sin consentimiento informado, los críticos argumentan que Koko violó las normas éticas vigentes diseñadas para proteger a las personas vulnerables de prácticas de investigación dañinas o abusivas.
Via: FirstPost