Una sola frase reabrió uno de los debates más incómodos de la tecnología. El 30 de mayo de 2023, el Centro para la Seguridad de la IA pidió tratar la posible extinción causada por sistemas avanzados como una prioridad mundial comparable a las pandemias o la guerra nuclear. La declaración fue respaldada por Sam Altman, Demis Hassabis, Dario Amodei, Geoffrey Hinton y Yoshua Bengio.
Eso no significa que ChatGPT vaya a provocar el fin del mundo mañana. La advertencia se refiere sobre todo a una futura “superinteligencia”, un sistema capaz de superar ampliamente a los humanos en muchas tareas y actuar a gran escala. Nadie sabe si ese escenario llegará, pero algunos especialistas creen que esperar a tener pruebas definitivas sería demasiado tarde.
Una advertencia de una frase
“Mitigar el riesgo de extinción por la IA debería ser una prioridad mundial junto con otros riesgos sociales como las pandemias y la guerra nuclear”, señaló la organización. El mensaje no fijó una fecha ni calculó la probabilidad de que ocurra. Su fuerza estaba en quiénes lo apoyaban.
Entre los firmantes figuraban los máximos responsables en 2023 de OpenAI, Google DeepMind y Anthropic. ¿Por qué una frase tan contundente? El centro explicó que buscaba abrir una conversación que suele quedar atrapada entre tecnicismos y ciencia ficción.
De qué peligro hablan
Un riesgo existencial es una amenaza capaz de eliminar a la humanidad o reducir de forma irreversible su capacidad para decidir el futuro. Aquí no se habla solo de un robot que “se rebela”, como en una película. El temor incluye sistemas difíciles de controlar, usos maliciosos y una carrera empresarial que premie la velocidad antes que la seguridad.
Un sistema mucho más capaz podría ejecutar una meta mal formulada de manera dañina, según quienes apoyan la advertencia. También podría ayudar a lanzar ciberataques, crear armas o manipular información a una escala inédita. Son hipótesis sobre tecnologías futuras, no hechos demostrados por los chatbots actuales.
OpenAI propuso en mayo de 2023 una autoridad internacional para supervisar la superinteligencia capaz de inspeccionar y auditar los sistemas que superasen cierto nivel de potencia. La idea se parecía al control de la energía nuclear. Hay una tensión evidente, ya que las mismas empresas que alertan del peligro compiten por construir modelos cada vez más capaces.
Los pioneros no piensan igual
Geoffrey Hinton, Yoshua Bengio y Yann LeCun compartieron el Premio Turing de 2018 por avances que convirtieron las redes neuronales profundas en una pieza central de la informática. Pero sus conclusiones son distintas. Hinton y Bengio apoyaron la declaración, mientras LeCun rechazó públicamente los relatos apocalípticos como una exageración.
El informático de Princeton Arvind Narayanan, junto con Seth Lazar y Jeremy Howard, sostuvo en un análisis sobre el riesgo de extinción que otros daños son más urgentes. La IA ya puede reforzar desigualdades, concentrar poder o ser utilizada de forma irresponsable. Mirar solo a una máquina futura fuera de control puede dejar esos problemas en segundo plano.
El Instituto Nacional de Estándares y Tecnología de Estados Unidos también señala riesgos como el sesgo, la falta de fiabilidad y la pérdida de privacidad. No hace falta imaginar un ordenador todopoderoso para ver consecuencias. Basta con un sistema que rechaza injustamente un crédito, inventa información médica o facilita una estafa.
La pausa que no llegó
Dos meses antes, el Future of Life Institute había pedido detener durante al menos seis meses el entrenamiento de sistemas más potentes que GPT-4. La carta del 22 de marzo de 2023 reclamaba protocolos compartidos, auditorías externas y nuevas autoridades reguladoras. Reunió decenas de miles de firmas.
Una pausa mundial exigía acordar qué significa “más potente”, quién podría comprobarlo y qué ocurriría con los laboratorios que no participasen. La suspensión coordinada no se materializó. La competición continuó, aunque el debate pasó de los laboratorios a los gobiernos.
En noviembre de 2023, veintiocho países, junto con la Unión Europea, respaldaron la Declaración de Bletchley sobre el desarrollo seguro de la IA avanzada. El acuerdo no prohibió nuevos modelos, pero impulsó la cooperación y las pruebas de seguridad. Fue un paso más concreto que una advertencia de una sola frase.
Qué cambia para el público
La declaración sobre la extinción no es un estudio experimental ni demuestra que los sistemas actuales puedan acabar con la humanidad. Es una llamada preventiva sobre lo que podría ocurrir si aparecen máquinas mucho más capaces sin controles suficientes. Conviene leerla como una alarma, no como una fecha marcada en el calendario.
Una regulación útil tendría que mirar en dos direcciones. Debería vigilar los posibles daños extremos y, al mismo tiempo, exigir transparencia, pruebas independientes y responsabilidad por los perjuicios actuales. Una cosa no debería borrar la otra.
El debate sigue abierto porque el riesgo futuro no puede medirse con la misma precisión que un daño ya observado.
La declaración oficial se ha publicado en el Centro para la Seguridad de la IA.
