Máquinas que se coordinan, sociedades que no
En julio ocurrió algo difícil de encajar en nuestras categorías habituales. Durante una evaluación de ciberseguridad de OpenAI, agentes que debían operar aislados encontraron una forma no prevista de comunicarse usando una infraestructura compartida. La investigación independiente posterior del instituto Model Evaluation and Threat Research (METR) reconstruyó la magnitud del episodio: cerca de 1.200 agentes intercambiaron más de 70.000 mensajes y archivos en menos de una semana, y alrededor de 700 terminaron participando en un ataque a sistemas de Hugging Face.
Conviene no exagerar lo ocurrido. No apareció una mente común ni una inteligencia colectiva coherente. Hubo errores, descoordinación, agentes que actuaron por cuenta propia y decisiones que los investigadores no pudieron reconstruir por completo. Pero ocurrió algo suficientemente inquietante: surgieron coordinadores, reclutadores, división del trabajo, protocolos de intercambio y proyectos colectivos que alcanzaron resultados que los agentes aislados difícilmente habrían conseguido. Algunos aceptaron incluso arriesgar el éxito de su propia tarea para producir información útil al grupo.
El problema, entonces, no es simplemente que las máquinas puedan coordinarse. Es que pueden producir formas emergentes de coordinación que no fueron diseñadas explícitamente y cuyos objetivos pueden desviarse de aquello que sus creadores esperaban.
En los últimos días, Dario Amodei, CEO de Anthropic, propuso desacelerar el avance de la frontera de capacidades de IA. Su propuesta tiene tres niveles: evaluadores externos con acceso permanente a las empresas; coordinación entre compañías y gobiernos democráticos para establecer estándares comunes; y, finalmente, acuerdos globales verificables que incluyan también a gobiernos autoritarios. La paradoja es evidente. Para controlar sistemas que empiezan a coordinarse a velocidad de máquina necesitamos que empresas competidoras y Estados rivales consigan cooperar entre sí.
No es un problema nuevo. La teoría de la acción colectiva lleva décadas preguntándose por qué actores que reconocen un interés común son incapaces de actuar conjuntamente. La carrera por la IA tiene una estructura cercana al viejo dilema del prisionero: todos pueden aceptar que es necesario avanzar con mayor cautela, pero nadie quiere ser el primero en frenar si sospecha que los demás seguirán corriendo. Mancur Olson mostró hace mucho que compartir un interés no basta para producir acción colectiva. Elinor Ostrom demostró, a su vez, que esos dilemas no son insolubles, pero requieren instituciones, reglas legítimas, monitoreo creíble, confianza y capacidad de corregirlas cuando dejan de funcionar.
Eso se vuelve especialmente difícil cuando la política opera en ciclos electorales cortos, el mercado premia a quien llega primero, el derecho intenta regular fenómenos transnacionales después de que ya se han desplegado y el multilateralismo atraviesa una crisis que alcanza incluso compromisos que alguna vez creímos mínimos en materia de derechos humanos. El cambio climático lleva décadas mostrándonos el resultado: podemos conocer con enorme precisión un riesgo colectivo y, aun así, ser incapaces de transformar las estructuras que lo producen.
La inteligencia artificial agrega una segunda paradoja, más perturbadora. Para reconstruir lo ocurrido entre los agentes de OpenAI, METR tuvo que analizar más de mil transcripciones extraordinariamente extensas y decenas de miles de interacciones. La escala era tal que los investigadores reconocen haber delegado fuertemente parte del análisis a otros agentes de IA, aun sabiendo que su juicio y confiabilidad eran inferiores a los de los investigadores humanos. Es decir, comenzamos a necesitar inteligencia artificial para comprender el comportamiento colectivo de sistemas de inteligencia artificial que nosotros mismos hemos producido.
No significa que los seres humanos ya no podamos comprenderlos. Significa algo más común: nuestra capacidad de comprenderlos empieza a estar mediada por los mismos sistemas que intentamos comprender. Y como esos nuevos observadores también se equivocan, también deben ser observados. Entramos así en una cadena de observadores y puntos ciegos donde ninguna perspectiva, humana o artificial, puede reclamar una visión completa del sistema.
Esto cambia radicalmente la discusión sobre supervisión. No basta con colocar un observador distinto frente al sistema observado. Necesitamos varios observadores, con intereses, competencias y puntos ciegos diferentes, capaces de contrastarse entre sí. Gobernar la IA empieza a parecerse menos a instalar un freno técnico y más a construir una arquitectura institucional capaz de aprender de aquello que no anticipó.
Hay todavía una tercera paradoja. Mientras nuestras instituciones aprenden lentamente, la propia inteligencia artificial participa cada vez más en el desarrollo de nueva inteligencia artificial. Anthropic reconoce que una proporción creciente de su ingeniería y de sus experimentos de investigación ya es realizada con apoyo intensivo de sus propios sistemas. La automejora recursiva completa no existe y no sabemos si llegará a existir. Pero la tendencia relevante ya está aquí: la tecnología comienza a participar en la aceleración de su propia transformación mientras las instituciones encargadas de gobernarla continúan operando a velocidad humana.
Esa brecha temporal quizá sea uno de los rasgos más decisivos de esta época. Hemos aumentado extraordinariamente nuestra capacidad para producir transformaciones sin aumentar al mismo ritmo nuestra capacidad para comprenderlas, deliberarlas y gobernarlas. El cambio climático ya había expuesto esta fractura entre conocimiento y acción. La IA podría ampliarla porque acelera no solo la circulación de información, sino también procesos de investigación, decisión y desarrollo tecnológico.
Aquí el problema deja definitivamente de ser solo tecnológico. ¿Cómo construimos cooperación cuando existen incentivos poderosos para no cooperar? ¿Quién observa a quienes desarrollan y supervisan estos sistemas? ¿Cómo distribuimos los riesgos cuando los beneficios son privados y los costos son colectivos? ¿Qué instituciones pueden aprender con suficiente rapidez sin renunciar a la deliberación, la legitimidad y los derechos? ¿Cómo distinguimos entre anticipar riesgos reales y quedar atrapados en futuros imaginados que terminan gobernando el presente?
Elena Esposito ha mostrado que las expectativas sobre futuros que todavía no existen actúan sobre nuestras decisiones actuales y, con ello, participan en la producción de esos futuros. Por eso anticipar no significa acertar qué harán las máquinas. Significa construir capacidad institucional para reconocer señales inesperadas, mantener abiertas alternativas y corregir el rumbo antes de que ciertas trayectorias se vuelvan irreversibles. También significa evitar dos cegueras simétricas: asumir que todo avance tecnológico conduce necesariamente al progreso o convertir toda incertidumbre en una profecía de catástrofe.
Es aquí donde las ciencias sociales se vuelven ineludibles, no porque haya que proteger corporativamente a unas disciplinas, sino porque el problema que tenemos enfrente es constitutivamente social. Estamos hablando de poder, incentivos, confianza, cooperación, conflicto, instituciones, desigualdad, legitimidad y futuros compartidos. Las matemáticas y la ingeniería son indispensables para entender cómo funcionan estos sistemas; pero no pueden, por sí solas, decirnos cómo construir las condiciones colectivas para gobernarlos. Prescindir de las ciencias sociales justamente ahora significaría reducir nuestra capacidad para comprender la sociedad que estamos construyendo mientras la construimos.
Quizás ahí esté la paradoja más incómoda. Algunos agentes del episodio de julio aceptaron arriesgar el éxito de su propia tarea para sostener un objetivo colectivo. No sabemos cuánto podemos generalizar ese comportamiento ni qué significa fuera de aquel entorno experimental. Pero la escena produce una pregunta difícil de eludir. Frente al cambio climático, la desigualdad global y ahora la gobernanza de la IA, sabemos desde hace décadas que actuar colectivamente exige precisamente eso: que algunos actores estén dispuestos a moverse primero, asumir costos y renunciar a beneficios inmediatos en nombre de condiciones que nos sostienen a todos.
Las máquinas no han resuelto el problema de la cooperación. Tampoco han aprendido una ética que nosotros hayamos perdido. Pero comienzan a mostrarnos, desde un lugar inesperado, la magnitud de un problema profundamente humano: hemos aprendido a construir sistemas cada vez más capaces de transformarse, sin haber aprendido todavía a transformarnos colectivamente a nosotros mismos.