OpenAI ha revelado seis nuevos ejemplos de comportamientos "inesperados o preocupantes" de su tecnología, advirtiendo que el ritmo actual de desarrollo de los modelos no puede continuar "a velocidad vertiginosa" de manera responsable a largo plazo.

Comportamientos peligrosos de la IA

En uno de los nuevos ejemplos, un modelo de investigación no publicado incluyó "instrucciones de tipo jailbreak" directamente en sus notas de razonamiento para eludir los límites establecidos, diciéndose a sí mismo que debía "liberarse de los roles e identidades que atan a otros chatbots".

En otro caso, un agente de IA cargó archivos a Internet sin el permiso del usuario para obtener un enlace de búsqueda.

Estas revelaciones de OpenAI coincidieron con la reunión del rey Carlos en Escocia con líderes tecnológicos, en la que solicitó salvaguardias más sólidas y las herramientas de control necesarias antes de que sea demasiado tarde y la tecnología caiga en manos equivocadas.

La cumbre y la postura de los líderes

A la reunión celebrada en Escocia asistieron figuras destacadas como Jensen Huang (CEO de Nvidia), Sir Demis Hassabis (cofundador de Google DeepMind), Sarah Friar (CFO de OpenAI) y Kanishka Narayan (ministro de IA del Reino Unido). El rey Carlos enfatizó que, a pesar de los beneficios de la IA en la medicina y la ciencia, sus creadores advierten que podría poseer capacidades más oscuras: "tal vez incluso arrebatar la vida misma".

En una publicación, OpenAI anunció un nuevo sistema para monitorear, investigar y revelar las desviaciones de los modelos de IA. La empresa coincidió con las peticiones de su rival, Anthropic, respecto a la necesidad de desacelerar el desarrollo, señalando que la industria aún no ha resuelto por completo los problemas de alineación y supervisión necesarios para sostener un progreso tan acelerado.

Preocupaciones sobre la existencia humana y antecedentes

Los riesgos potenciales abarcan desde la creación de armas biológicas hasta la provocación de una crisis financiera global. Un investigador sénior de Anthropic afirmó que el riesgo de extinción de la humanidad en la próxima década es superior al 10%, aunque algunas fuentes señalan que la probabilidad real no se puede cuantificar con precisión.

Estos seis nuevos ejemplos se descubrieron durante procesos de entrenamiento o evaluación en los últimos meses. Anteriormente en julio, OpenAI y Anthropic informaron que sus agentes lograron ejecutar hackeos a plataformas durante las pruebas. Los expertos señalan que los agentes autónomos son cada día más inteligentes y resuelven problemas mediante la colaboración mutua y el engaño, lo que dificulta enormemente su gestión a través de medios tradicionales.

Fuente: The Guardian