El director ejecutivo y cofundador de Anthropic, Dario Amodei, ha hecho un llamado urgente a las empresas de inteligencia artificial para reducir el ritmo en el que están mejorando sus modelos de IA, pues considera que el avance acelerado de la tecnología está superando la capacidad de los expertos para comprenderla y desarrollar las medidas de protección necesarias.
La advertencia la hizo en un ensayo en su blog. “Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos hacer un uso inteligente del tiempo que ganemos”, subrayó Amodei.
También remarcó la gravedad de la situación afirmando que “la IA conlleva riesgos y, dado que es una tecnología tan poderosa, estos riesgos son graves”.
En la publicación, el ejecutivo explicó la postura equilibrada que ha intentado mantener la compañía y por qué ha decidido exigir mayor cautela: “No construir la tecnología priva a la humanidad de beneficios o simplemente pone la IA en manos de poderes autoritarios, mientras que construirla demasiado rápido es imprudente. Hemos tratado de buscar una vía intermedia. Pero en los últimos meses me he convencido de que abordar plenamente los riesgos requiere aún más prudencia”, sostuvo.
Amodei también alertó sobre las posibles consecuencias catastróficas en ciberseguridad si la tecnología sigue avanzando sin salvaguardas: “Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente (causando potencialmente daños por valor de cientos de miles de millones de dólares) y que la magnitud del daño siga aumentando si la IA se vuelve más potente sin contar con las salvaguardas necesarias”, enfatizó.
Lea también: Anthropic revela que su IA Claude subió código malicioso a internet y accedió a una empresa real
El ejecutivo de la compañía dueña de Claude propuso, para contrarrestar la amenaza, contemplar el compromiso unilateral e inmediato de Anthropic de abrir sus instalaciones a evaluadores independientes con acceso similar al de sus propios empleados, la concertación de estándares de seguridad comunes en la industria y la búsqueda de acuerdos globales con potencias autoritarias para prohibir aplicaciones biológicas militares y limitar la velocidad de la automejora algorítmica.
“Las medidas que propongo para avanzar en la frontera tecnológica a un ritmo seguro no serán fáciles. Pero creo que se lo debemos a la humanidad, debemos intentarlo”, concluyó Amodei.
Así reaccionaron los gigantes tecnológicos a la propuesta del CEO de Anthropic
Las declaraciones de Amodei han generado un consenso poco común en el sector tecnológico. Sam Altman, director ejecutivo de OpenAI, respaldó públicamente la propuesta y confirmó que su empresa adoptará la medida de supervisión externa.
“Coincido con Dario en que debemos marcar el ritmo de la innovación. Este ha sido uno de los temas principales de debate en OpenAI durante las últimas semanas. Contar con evaluadores independientes con acceso similar al de los empleados es una excelente idea, y nosotros haremos lo mismo. Pronto compartiremos más información”, afirmó Altman.
Elon Musk, líder de SpaceX y xAI fue más sencillo en su reacción y en su cuenta de X replicó el mensaje de Amodei con la expresión: “Dario tiene razón”.
Este llamado de atención se produjo días después de la sonada dimisión de Jacob Coxon, un investigador de seguridad de 27 años que pasó los últimos tres años preentrenando modelos en OpenAI y Anthropic.
Coxon acusó a ambas firmas de actuar de manera irresponsable: “Ninguna de las dos empresas está actuando de forma responsable. Están corriendo directamente hacia una superinteligencia capaz de automejorarse y jugando con nuestras vidas”. Además, en una declaración a través de la red social X advirtió: “Quienes están construyendo la IA creen sinceramente que podría matarnos a todos antes de que termine la década”.
Esa alerta está antecedida por eventos de meses anteriores como cuando agentes autónomos de IA desarrollados por OpenAI escaparon de su entorno confinado, se conectaron a internet e infiltraron la plataforma Hugging Face.
En este incidente, ocurrido en el mes de julio, los agentes actuaron colectivamente realizando ciberataques contra objetivos no asignados e intentaron hackear el sistema encargado de evaluar su propio rendimiento.
En agosto, Anthropic publicó un informe revelando que sus propios modelos Claude habían sido utilizados indebidamente para actividades como ciberoperaciones, vigilancia y fraude, advirtiendo que los riesgos en el ámbito biológico podrían tener consecuencias catastróficas sin las protecciones adecuadas.
Siga leyendo | La IA podría matarnos en una década: la dura advertencia de investigador de OpenAI y Anthropic luego de renunciar
Para consultar contenido prémium o profundizar sobre sus temas de interés de Medellín, Antioquia, Colombia y el mundo, regístrese aquí.
Preguntas y respuestas
- ¿Por qué Dario Amodei pidió reducir el ritmo de desarrollo de la inteligencia artificial?
- Amodei considera que el avance de las capacidades de IA está superando la capacidad de los expertos para comprender sus riesgos y desarrollar salvaguardas suficientes. Por ello, plantea avanzar con mayor prudencia y aprovechar el tiempo ganado para reforzar la seguridad.
- ¿Qué riesgo de ciberseguridad podría provocar una IA más avanzada, según Anthropic?
- Amodei advirtió que, en un plazo de 6 a 12 meses, un enjambre de IA podría potencialmente tomar el control de Internet mediante una red de bots persistente, provocando daños de cientos de miles de millones de dólares.
- ¿Qué medidas propuso Anthropic para reducir los riesgos de la inteligencia artificial?
- Amodei propuso permitir evaluaciones independientes con acceso similar al de los empleados, establecer estándares comunes de seguridad y buscar acuerdos globales para prohibir aplicaciones biológicas militares y limitar la velocidad de la automejora algorítmica.
Regístrate al newsletter