Contexto y Debates
En 2023, uno de los temas más debatidos en inteligencia artificial (IA) ha sido la seguridad, ya que los grandes modelos de IA están evolucionando rápidamente y volviéndose más poderosos. Las preocupaciones sobre la seguridad, la alineación, los riesgos éticos y los efectos sociales y ambientales de la IA han sido puntos de discusión activa durante varios años. Sin embargo, la agenda pública ha visto un cambio en el énfasis a medida que las discusiones sobre el riesgo existencial debido a una IA fuera de control se han vuelto más prominentes. Estas preocupaciones han ganado relevancia principalmente porque líderes en IA, como Yoshua Bengio y Geoffrey Hinton, han expresado su inquietud sobre escenarios futuros en los que los modelos de IA poderosos estén fuera de control, ya sea por uso malicioso de terroristas o estados rebeldes, o porque adquieran inteligencia sobrehumana, se vuelvan autoconscientes y persigan autónomamente sus propios objetivos.
Desarrollo de la IA y Dualidad de Uso
Los sistemas de IA han visto un desarrollo rápido en la última década desde el auge del aprendizaje profundo alrededor de 2012, pero se ha avanzado aún más rápidamente con los grandes modelos de lenguaje y la IA generativa en los últimos años. Con el lanzamiento del modelo de IA generativa ChatGPT hace aproximadamente un año, el mundo despertó al poder de estos modelos y al probable efecto disruptivo que tendrán en muchas áreas de la sociedad. También hay serias preocupaciones de doble uso: los actores malintencionados pueden usar la IA generativa para escalar esquemas dañinos y criminales, como la desinformación y el cibercrimen.
El Papel de OpenAI y la Competencia en el Campo
OpenAI, la compañía detrás de ChatGPT, está persiguiendo como misión principal el desarrollo de inteligencia artificial general (AGI). La empresa ha presentado un plan para desplegar IA cada vez más poderosa en etapas, dando a todos “capacidades nuevas increíbles” y beneficiando a toda la humanidad, mientras aborda los riesgos potenciales. La liberación de ChatGPT ha sido un experimento a gran escala en esta dirección, en el cual millones de usuarios proporcionan retroalimentación gratuita (además de anotadores pagados). El modelo se ajusta y se añaden filtros antitoxicidad cuando se detectan preocupaciones. Sin embargo, cómo alinear de manera segura y completa un modelo como ChatGPT con la intención humana sigue siendo desconocido.
OpenAI no es el único jugador en modelos de IA de frontera ni en la búsqueda de AGI. Pronto después del lanzamiento de ChatGPT, otras compañías se unieron con modelos generativos, con o sin interfaces de chatbot, como LLaMA de Meta, ERNIE de Baidu, Claude de Anthropic y, más recientemente, Gemini de Google. En una encuesta reciente realizada por investigadores de Google DeepMind sobre el progreso hacia AGI, varios de estos modelos se clasifican como “AGI emergente”, el nivel más bajo de cinco, lo que significa que los modelos son al menos tan buenos como, o ligeramente mejores que, un humano no específicamente entrenado para la tarea específica.
Preocupaciones y Respuestas a la Seguridad de la IA
Con este torbellino de desarrollos de IA a principios de 2023, en marzo, varias figuras clave en la investigación y la industria de la IA firmaron una carta abierta del Instituto Future of Life pidiendo una pausa de seis meses en los “experimentos gigantes de IA”. La carta recomienda que los sistemas de IA poderosos solo se desarrollen una vez que estemos seguros de que sus efectos serán positivos y sus riesgos manejables. Sin embargo, esta iniciativa recibió un considerable rechazo, ya que expertos con antecedentes en ética de la IA argumentaron que la carta abierta está demasiado enfocada en riesgos desconocidos y de ciencia ficción, mientras que existen muchos riesgos actuales conocidos que requieren igual o mayor atención.
Hubo preocupaciones similares en respuesta al anuncio de la cumbre de seguridad de la IA, organizada por el Reino Unido el 1 y 2 de noviembre con representantes de 28 países y varias industrias y sociedades civiles. El esfuerzo por desarrollar barreras de protección para el desarrollo de la IA y comenzar la colaboración internacional para garantizar un desarrollo seguro de la IA es sin duda bienvenido. Pero la cumbre ha sido criticada por su enfoque en los riesgos a largo plazo y la dependencia de la autorregulación por parte de la industria. Otra carta abierta publicada por varias sociedades civiles al comienzo de la cumbre llama a la acción regulatoria para abordar la gama completa de riesgos que los sistemas de IA pueden plantear, incluidos los riesgos actuales que ya están afectando los derechos humanos.
Regulación y Normas
Justo antes de la cumbre de seguridad, el 30 de octubre, el presidente de EE. UU., Joseph Biden, emitió una orden ejecutiva sobre “Nuevas normas para la seguridad y la protección de la IA”. Fue la primera orden ejecutiva sobre IA por parte de EE. UU. y proporciona orientación para las agencias federales, junto con estándares y definiciones en IA. Entre sus acciones, requiere que los desarrolladores de los sistemas de IA más poderosos compartan sus resultados de pruebas de seguridad y otra información crucial con el gobierno de EE. UU., y pide el desarrollo de estándares, herramientas y pruebas para ayudar a garantizar que los sistemas de IA sean seguros, protegidos y confiables.
Estas medidas están en línea con las recomendaciones formuladas por un grupo de expertos de la industria y académicos en seguridad de la IA, de OpenAI, Anthropic y Google DeepMind, entre otros. Los investigadores llaman a pasos para exigir el registro y reporte de modelos de IA de frontera poderosos, evaluaciones de riesgos y monitoreo post-despliegue, confiando tanto en la regulación como en la autorregulación. Discutieron riesgos emergentes y la necesidad de prepararse para desarrollos impredecibles de capacidades peligrosas en modelos de IA. Sin embargo, ya ha habido daños previsibles y claros de las aplicaciones de IA que han estado ocurriendo durante varios años, como la discriminación algorítmica, la explotación de anotadores de datos mal pagados, la infracción de derechos de autor y los ataques de deepfake, y estos tampoco se han abordado.
Conclusión
A medida que 2024 se acerca y el debate sobre la seguridad de la IA continúa, apoyamos los llamados para garantizar que la agenda no sea determinada solo por representantes de grandes empresas tecnológicas, y que la regulación nacional e internacional tenga en cuenta una gama más amplia y global de voces para abordar los daños realistas de la IA, presentes y futuros.
Publicado en línea: 18 de diciembre de 2023
Referencia Bibliográfica: #
Editorial. (2023). A year of racing ahead with AI and not breaking things. Nature Machine Intelligence, 5, 1337. https://doi.org/10.1038/s42256-023-00782-7
