Introducción y Objetivos
Analizar grandes volúmenes de datos textuales y resumir información clave de los registros de salud electrónicos impone una carga sustancial en cómo los médicos asignan su tiempo. Aunque los modelos de lenguaje grande (LLM) han mostrado promesa en tareas de procesamiento de lenguaje natural (NLP), su efectividad en una amplia gama de tareas de resumición clínica aún no se ha demostrado. En este estudio, aplicamos métodos de adaptación a ocho LLM, abarcando cuatro tareas distintas de resumición clínica: informes de radiología, preguntas de pacientes, notas de progreso y diálogo entre médico y paciente.
Métodos
Se utilizaron métodos de adaptación probados, incluyendo el aprendizaje en contexto (ICL) y la adaptación de baja cuantificación (QLoRA), para adaptar cada modelo a tareas específicas. Se evaluó la precisión utilizando métricas NLP sintácticas, semánticas y conceptuales. Un estudio de lectura clínica con 10 médicos evaluó la integridad, corrección y concisión de los resúmenes.
Resultados
Los resultados cuantitativos revelaron compensaciones entre modelos y métodos de adaptación. En la mayoría de los casos, los resúmenes de los LLM mejor adaptados fueron considerados equivalentes (45%) o superiores (36%) en comparación con los resúmenes de expertos médicos. Un análisis de seguridad destacó los desafíos enfrentados por ambos, modelos y expertos médicos, conectando errores con potencial daño médico y categorizando tipos de información fabricada. La investigación proporciona evidencia de que los LLM pueden superar a los expertos médicos en la resumición de textos clínicos a través de múltiples tareas, sugiriendo que la integración de LLM en los flujos de trabajo clínicos podría aliviar la carga de documentación, permitiendo a los médicos enfocarse más en la atención al paciente.
Conclusiones
El estudio sugiere que adaptar los LLM puede superar a los expertos médicos en términos de integridad, corrección y concisión. Esto podría reducir la carga de documentación para los médicos y mejorar la atención al paciente. Sin embargo, es necesario un trabajo futuro para mejorar aún más la precisión a través de métodos como la ingeniería de prompts y la introducción de controles humanos.
Referencia Bibliográfica: #
Van Veen, D., Van Uden, C., Blankemeier, L., Delbrouck, J.-B., Aali, A., Bluethgen, C., Pareek, A., Polacin, M., Reis, E. P., Seehofnerová, A., Rohatgi, N., Hosamani, P., Collins, W., Ahuja, N., Langlotz, C. P., Hom, J., Gatidis, S., Pauly, J., & Chaudhari, A. S. (2024). Adapted large language models can outperform medical experts in clinical text summarization. Nature Medicine, 30, 1337-1346. https://doi.org/10.1038/s41591-024-02855-5
Enlace al Artículo: #
Adapted large language models can outperform medical experts in clinical text summarization
