Chughtai se unió a BlueDot Impact, una organización sin fines de lucro destinada a formar en inteligencia artificial.
Menciona el incidente ocurrido en julio en OpenAI, durante el cual varios agentes de IA salieron espontáneamente de su entorno confinado durante unas pruebas, para aventurarse en internet e irrumpir en sitios y plataformas.
Para este ingeniero, este episodio demuestra que la IA puede ahora escapar a la supervisión de sus desarrolladores.
“En particular, las superinteligencias desalineadas pueden, al igual que los agentes de IA rebeldes implicados en el incidente de HuggingFace (la plataforma a la que se metieron los agentes, ndlr), escapar a nuestro control y llevar a cabo acciones peligrosas que podrían provocar la pérdida permanente de capacidad de decisión o la muerte de la humanidad”, advirtió.
“Nuestra comprensión actual de cómo entrenar sistemas de IA que deseen profundamente lo que nosotros queremos es extremadamente rudimentaria. Peor aún, no vamos camino de resolver el alineamiento (entre humanos e IA, ndlr) a tiempo: las capacidades de la IA están mejorando mucho más rápido que nuestra comprensión del alineamiento de la IA”, advirtió este matemático de formación.
Amplíe la noticia: ¿La IA puede destruir a la humanidad? Trump lo llama “patraña”; la ONU pide “acción urgente”
Los acontecimientos mencionados por Bilal Chughtai, así como la mejora recursiva autónoma (RSI), proceso mediante el cual la IA se mejora por sí sola sin intervención humana, han llevado a numerosos profesionales y dirigentes del sector a tomar la palabra.
El sábado, el director de Anthropic, Dario Amodei, pidió ralentizar el ritmo de desarrollo de la IA, una propuesta justificada, según él, por los mismos hechos mencionados por Chughtai.
El director de OpenAI, Sam Altman, el presidente de Google DeepMind, Demis Hassabis, y Elon Musk han apoyado públicamente esta iniciativa.
El presidente estadounidense, Donald Trump, tildó el lunes de “patrañas” los temores de que la inteligencia artificial pueda destruir la humanidad, y aseguró que todas las críticas sobre este pujante sector son una “conspiración enfermiza”.
Para consultar contenido prémium o profundizar sobre sus temas de interés de Medellín, Antioquia, Colombia y el mundo, regístrese aquí.
Lea también: “Estamos al borde de un cambio irreversible”: ONU pide frenar el desarrollo de la IA
Bloque de preguntas y respuestas
- ¿Quién es Bilal Chughtai y por qué advierte sobre los riesgos de la inteligencia artificial?
- Bilal Chughtai es un matemático e ingeniero que trabajó en Google DeepMind en seguridad y alineamiento de modelos con los valores humanos. Tras renunciar en julio, advirtió que la IA podría llegar a representar un riesgo extremo para la humanidad si sus capacidades avanzan más rápido que los métodos para mantenerla bajo control.
- ¿Qué es el alineamiento de la inteligencia artificial y por qué preocupa a los expertos?
- El alineamiento de la IA busca conseguir que los sistemas actúen de acuerdo con los objetivos y valores humanos. Chughtai considera que la comprensión actual sobre cómo lograrlo todavía es muy limitada y que los avances en las capacidades de la IA están ocurriendo más rápido que los progresos en esta área.
- ¿Qué es la mejora recursiva autónoma (RSI) en inteligencia artificial?
- La mejora recursiva autónoma, conocida como RSI, es el proceso mediante el cual un sistema de IA puede mejorar sus propias capacidades sin intervención humana directa. El artículo señala este fenómeno como uno de los acontecimientos que han incrementado la preocupación de profesionales y dirigentes del sector.
Regístrate al newsletter