Introducción y Objetivos
La medicina preventiva y la atención primaria son cruciales para la detección temprana, prevención y manejo de enfermedades, con el objetivo general de reducir la incidencia de enfermedades y la discapacidad y muerte asociadas. Sin embargo, solo un pequeño porcentaje de la población recibe todos los servicios preventivos recomendados. Los pacientes recurren cada vez más a recursos en línea para obtener información adicional, y la inteligencia artificial (IA) ha emergido como una herramienta importante en este ámbito. Este estudio evalúa la capacidad de ChatGPT-4 y Google Bard para ofrecer recomendaciones precisas en medicina preventiva y atención primaria.
Métodos
Se formularon 56 preguntas y se presentaron a ChatGPT-4 en junio de 2023 y a Google Bard en octubre de 2023. Las respuestas fueron revisadas independientemente por dos médicos, clasificándolas como “precisas”, “inexactas” o “precisas con información faltante”. Las discrepancias se resolvieron con la intervención de un tercer médico.
Resultados
El acuerdo inicial entre los revisores fue sustancial (Cohen’s Kappa de 0.76 para ChatGPT-4 y 0.89 para Bard). Tras alcanzar un consenso, se determinó que el 28.6% de las respuestas de ChatGPT-4 eran precisas, el 28.6% inexactas y el 42.8% precisas con información faltante. En comparación, el 53.6% de las respuestas de Bard eran precisas, el 17.8% inexactas y el 28.6% precisas con información faltante. Las respuestas a preguntas relacionadas con el CDC y las inmunizaciones mostraron notables inexactitudes (80%) en ambos modelos.
Conclusiones
ChatGPT-4 y Bard demostraron potencial para ofrecer información precisa en atención preventiva, pero también resaltaron la necesidad crítica de actualizaciones regulares, especialmente en áreas de la medicina que evolucionan rápidamente. Una proporción significativa de las respuestas se consideraron “precisas con información faltante”, lo que subraya la importancia de ver estas herramientas de IA como recursos complementarios en la búsqueda de información médica.
Referencia Bibliográfica: #
Kassab, J., El Hajjar, A. H., Wardrop III, R. M., & Brateanu, A. (2024). Accuracy of Online Artificial Intelligence Models in Primary Care Settings. American Journal of Preventive Medicine, 000(000), 1-6. https://doi.org/10.1016/j.amepre.2024.02.006
