¿Cómo se explica ChatGPT a un trabajador sanitario comunitario?

He estado profundizando en una investigación innovadora sobrelas percepciones de los trabajadores sanitarios comunitarios respecto a las aplicaciones de la IA en la India rural. La realidad es más compleja que las optimistas predicciones que inundan nuestro sector sobre la transformación de la salud mundial gracias a la inteligencia artificial.

Suscríbase ahorapara obtener más información sobre salud digital.

Los resultados revelan una preocupante brecha entre el entusiasmo de nuestra industria por la IA y la realidad del despliegue de estas herramientas entrelos trabajadores sanitarios de primera líneaque realmente las utilizarán.

Ese estudio examina las respuestas de los CHW a las herramientas de diagnóstico basadas en IA y reveló que los participantes tenían un nivel muy bajo de conocimientos sobre IA y, a menudo, formaban modelos mentales incorrectos sobre cómo funcionan estos sistemas. Cuando los CHW vieron un vídeo de una aplicación de IA que diagnosticaba la neumonía, muchos asumieron lo siguiente:

• La IA generativa funcionaba de la misma manera que el cerebro humano.
• O simplemente se trataba de contar síntomas como los latidos cardíacos y los patrones respiratorios.

Brecha peligrosa: el bombo publicitario de la IA y la realidad en primera línea

Los datos actuales indican queel 75 % de los trabajadores sanitarios se muestran entusiasmados con la integración de la IA, pero el entusiasmo sin comprensión crea vulnerabilidades peligrosas. La investigación realizada en la zona rural de Uttar Pradesh muestra que los trabajadores sanitarios comunitarios confiaban en las aplicaciones de IA casi incondicionalmente, y uno de los participantes afirmó:

«La aplicación es fiable. Funciona como una máquina de detección. La aplicación es una máquina, por lo que es fiable».

Esta visión utópica de la tecnología de IA es muy preocupante si tenemos en cuenta lo que está en juego. Con 4500 millones de personas sin acceso a servicios sanitarios esenciales y un déficit previsto de personal sanitario de 11 millones para 2030, los CHW son fundamentales para las intervenciones sanitarias.

Si no pueden evaluar críticamente los resultados de la IA, corremos el riesgo de agravar los problemas de la prestación de asistencia sanitaria en lugar de resolverlos.

La comunidad de desarrollo está abordando esto al revés. En lugar de crear herramientas de IA cada vez más sofisticadas y esperar que los CHW las comprendan, debemos comenzar con una alfabetización digital básica que incluya la comprensión de la IA.

Más allá de las explicaciones de la «caja mágica»

El hallazgo más llamativo del estudio sobre los CHW fue cómo los participantes hacían frente a los errores de la IA. Cuando se les preguntó qué harían si la aplicación diera diagnósticos incorrectos, 12 CHW respondieron que simplemente revisarían la aplicación dos o tres veces hasta obtener la respuesta que esperaban.

Se trata de un pensamiento mágico que trata a la IA como un oráculo infalible al que ocasionalmente hay que persuadir.

No podemos construir sistemas sanitarios eficaces basados en la inteligencia artificial sobre unos cimientos tan inestables. Los grandes modelos multimodales invitan a la participación activa a través de interfaces fáciles de usar, pero que sean fáciles de usar no significa automáticamente que los usuarios las entiendan.

Los CHW deben comprender conceptos como los intervalos de confianza, las limitaciones de los datos de entrenamiento y el sesgo sistemático, y no solo cómo pulsar botones en una pantalla.

Considera este reto práctico: ¿cómo le explicas a un CHW que los consejos médicos de ChatGPT pueden estar influenciados por la literatura médica predominantemente occidental cuando atiende a pacientes cuyas creencias y presentaciones sobre la salud difieren significativamente de los datos de formación?

El estudio reveló que los trabajadores comunitarios de salud asumían que las aplicaciones de IA podían diagnosticar todos los problemas, incluyendo hambre, sed, diarrea, coronavirus, problemas de embarazo, fiebre, resfriado común, presión arterial, cáncer y más. Esta amplia confianza en las capacidades de la IA podría conducir a una dependencia excesiva y peligrosa y a diagnósticos erróneos.

Cinco preguntas fundamentales que hay que responder

La investigación pone de manifiesto lagunas fundamentales en nuestra comprensión del despliegue de la IA entre los trabajadores sanitarios de primera línea. Aquí hay cinco preguntas que me quitan el sueño:

1. ¿Cómo se explican los resultados probabilísticos a alguien que necesita orientación clínica definitiva?Los trabajadores comunitarios de salud operan en entornos de alto riesgo en los que «probablemente sea neumonía» no es un consejo útil. Sin embargo, los sistemas de IA generativa funcionan fundamentalmente con probabilidades, no con certezas.
2. Cuando un sistema de IA contradice los conocimientos locales sobre salud o las prácticas culturales, ¿qué autoridad debe prevalecer?El estudio reveló que los trabajadores comunitarios de salud suelen dar prioridad a la IA por encima de su propia experiencia, pero ¿qué ocurre cuando las recomendaciones de la IA entran en conflicto con las prácticas de salud aceptadas por la comunidad?
3. ¿Cómo se transmiten los conceptos de privacidad de datos a los trabajadores que comparten dispositivos con sus familiares y no consideran que los datos sanitarios sean sensibles?Los participantes del CHW no veían ningún riesgo para la privacidad en compartir vídeos de pacientes con familiares o empresas tecnológicas, lo que suscitaba serias preocupaciones éticas.
4. ¿Qué ocurre cuando los CHW no pueden distinguir entre fallos del sistema de IA y fallos de infraestructura?Los problemas de conectividad rural, los fallos de los dispositivos y los errores algorítmicos pueden parecer idénticos para los usuarios finales, pero requieren respuestas completamente diferentes.
5. ¿Cómo se crean sistemas de asistencia de IA sostenibles para trabajadores con experiencia limitada en la resolución de problemas tecnológicos?Ocho trabajadores comunitarios de salud admitieron que no sabrían qué hacer si la aplicación dejara de funcionar, pero nuestro sector celebra las aplicaciones de IA sin tener en cuenta los requisitos de asistencia posteriores a la implementación.

Próximos pasos prácticos para una implementación responsable de la IA

La realidad es que debemos replantearnos por completo la formación en IA para los CHW. Los enfoques actuales se centran en la formación operativa (cómo utilizar la aplicación), cuando deberíamos dar prioridad a la comprensión conceptual de los propios sistemas de IA.

Así es como se ve una implementación responsable de la IA:

• Empiece por enseñarles conocimientos básicos sobre IA, no sobre aplicaciones.Los CHW necesitan comprender de forma básica cómo aprenden los sistemas de IA, qué datos influyen en sus resultados y por qué a veces fallan. No se trata de convertir a los CHW en científicos de datos, sino de ayudarles a desarrollar un escepticismo adecuado y habilidades de evaluación.
• Diseña pensando en el fracaso, no solo en el éxito.La investigación reveló que los CHW esperaban saber intuitivamente cuándo la IA cometía errores, peroplanificar para el fracasorequiere una preparación sistemática. La formación debe incluir el reconocimiento de errores, protocolos de escalamiento y procedimientos de respaldo.
• Abordar las barreras culturales y lingüísticas de forma proactiva.Estudios recientes sobre la implementación revelan barreras culturales y lingüísticas recurrentes que las soluciones técnicas por sí solas no pueden resolver. Las explicaciones de la IA deben contextualizarse culturalmente y proporcionarse en los idiomas locales con metáforas y ejemplos adecuados.
• Crear ecosistemas locales de apoyo a la IA.La resolución remota de problemas no es suficiente para los sistemas complejos de IA. Necesitamoscapacidad local para el mantenimiento de los sistemas de IA, similar a las redes de reparación de teléfonos móviles existentes, pero adaptada a los requisitos de la IA en el ámbito sanitario.

Mucho en juego para el éxito de la asistencia sanitaria

Informes recientes predicen que el mercado mundial de la IA aplicada a la asistencia sanitaria crecerá un 43 % anual, hasta alcanzar potencialmente los 491 000 millones de dólares en 2032. Este crecimiento explosivo se está produciendo independientemente de que resolvamos o no los retos fundamentales de la interacción entre humanos y IA puestos de manifiesto por la investigación de CHW.

Los lugares que más necesitan soluciones sanitarias basadas en la inteligencia artificial suelen ser los menos equipados para superar las barreras culturales y técnicas que dificultan su implementación. Sin embargo, seguimos desplegando herramientas de inteligencia artificial basadas en el entusiasmo más que en la evidencia, con la esperanza de que los trabajadores de primera línea se adapten a nuestra tecnología, en lugar de adaptar nuestra tecnología a sus necesidades y niveles de conocimiento.

He perdido la cuenta de cuántas presentaciones sobre IA para el bien común he visto que omiten por completo la cuestión de la comprensión por parte del usuario. Celebramoslos chatbots de IA que proporcionan asesoramiento médicosin abordar si los usuarios comprenden las limitaciones y los casos de uso adecuados de dichos sistemas.

Esto no es sostenible.

La investigación de CHW demuestra que las buenas intenciones y los algoritmos potentes no son suficientes para un despliegue responsable de la IA. Necesitamos una inversión sistemática en alfabetización en IA, materiales de formación culturalmente apropiados y sistemas de apoyo sólidos, no solo aplicaciones más llamativas con interfaces más intuitivas.

Para acceder al artículo completo, haga clic aquí.