Introducción y Objetivos
Los modelos de lenguaje grande (LLM) han mostrado capacidades impresionantes, a veces superando el rendimiento humano en varios dominios. Este estudio explora el potencial de los LLM para mejorar el juicio en tareas de pronóstico. Evaluamos el impacto en la precisión de las predicciones de dos asistentes GPT-4-Turbo: uno diseñado para proporcionar consejos de alta calidad (‘superforecasting’) y el otro para ser excesivamente confiado y descuidar tasas base. Los participantes (N = 991) podían consultar a su asistente LLM asignado durante el estudio, a diferencia de un grupo de control que utilizó un modelo menos avanzado (DaVinci-003) sin soporte de predicción directa.
Métodos
Se reclutaron 1152 participantes y se dividieron en tres grupos: tratamiento (superforecasting), tratamiento (sesgado) y control. Los participantes realizaron predicciones sobre seis preguntas continuas, variando desde preguntas financieras hasta geopolíticas. La precisión se midió comparando las predicciones con los valores reales y se normalizó para permitir la comparación entre preguntas.
Resultados
El estudio encontró que la augmentación de LLM mejoró significativamente la precisión de las predicciones en un 23% en ambos tipos de asistentes, en comparación con el grupo de control. Aunque el asistente superforecasting fue más preciso en sus predicciones, ambos asistentes LLM proporcionaron beneficios significativos. Los análisis exploratorios mostraron un efecto pronunciado en una pregunta de pronóstico específica, y al excluir esta pregunta, el asistente superforecasting aumentó la precisión en un 43%, comparado con el 28% del asistente sesgado.
Conclusiones
El acceso a un asistente LLM, incluso uno sesgado, puede ser una ayuda decisiva en tareas cognitivamente demandantes donde la respuesta no se conoce en el momento de la interacción. Este estudio sugiere que los LLM pueden mejorar significativamente la toma de decisiones humanas, especialmente en contextos de pronóstico.
Referencia Bibliográfica: #
Schoenegger, P., Park, P. S., Karger, E., & Tetlock, P. E. (2024). AI-Augmented Predictions: LLM Assistants Improve Human Forecasting Accuracy. arXiv preprint arXiv:2402.07862. https://doi.org/10.48550/arXiv.2402.07862
Enlace al Artículo: #
AI-Augmented Predictions: LLM Assistants Improve Human Forecasting Accuracy
