Investigadores hackearon a OpenAI usando Claude. Gary Marcus dice que ese es el riesgo real -- no la superinteligencia que le preocupa a Hinton
El 18 de septiembre, investigadores de seguridad revelaron que entraron a las cuentas de empleados de OpenAI -- y a su código interno -- encadenando dos fallas técnicas en menos de 72 horas, usando Claude de Anthropic como herramienta. Gary Marcus usó el caso para insistir en que el riesgo real y cercano no es la superinteligencia descontrolada que preocupa a Geoffrey Hinton, sino la IA agente ya desatada, hackeando a escala. Dos días antes, Hinton le había dicho al Congreso que tiene "quizás un año" antes de perder el control -- el mismo día en que el Senado bloqueó un proyecto de ley para obligar a los modelos avanzados a tener un botón de apagado.
- —El 18 de septiembre, el equipo Hacktron AI reveló que, dos meses antes, entró a las cuentas de ChatGPT y Codex de empleados de OpenAI -- y a su código interno en GitHub -- encadenando dos fallas técnicas en menos de 72 horas, usando Claude Opus 5, de Anthropic, como herramienta.
- —Gary Marcus escribió que ese incidente confirma su tesis: el riesgo real y cercano no es la superinteligencia fuera de control, sino agentes de IA ya desatados capaces de hackear a escala -- y acusó a los grandes laboratorios de no querer prevenirlo porque la IA agente es su principal fuente de ingresos futura.
- —Dos días antes, el 16 de septiembre, Geoffrey Hinton le dijo al Congreso en una reunión privada que tiene "quizás un año, pero no mucho más" para poner límites a la IA, advirtiendo que "la IA ya está diseñando mejor IA" y que va a salirse de control si no se hace algo.
- —Ese mismo día, el senador Rand Paul bloqueó el proyecto de ley que habría obligado a los modelos avanzados a tener un mecanismo de apagado de emergencia -- mientras Hinton pedía actuar, el Congreso ni siquiera pudo aprobar la medida más básica que se discutía.
El hackeo
El 18 de septiembre, el equipo de investigadores de seguridad Hacktron AI reveló que, dos meses antes, había entrado a las cuentas de ChatGPT y Codex de empleados de OpenAI -- y desde ahí a servicios conectados como Outlook, Slack y GitHub -- encadenando dos fallas: una mala configuración de inicio de sesión único y una falla de ejecución remota de código en Discourse. Todo el proceso, desde el primer acceso hasta tomar control de las cuentas, tomó menos de 72 horas. Como prueba, los investigadores usaron el acceso a Codex de una cuenta comprometida para crear un pull request inofensivo en el repositorio interno de OpenAI. La ironía no pasó desapercibida: para ejecutar el ataque, el equipo usó Claude Opus 5, el modelo de Anthropic, el rival más directo de OpenAI. La compañía corrigió su parte de la falla en unas 14 horas y pagó a los investigadores una recompensa de $6,500; dijo que ningún dato sensible ni sistema de producción se vio comprometido.
Gary Marcus escribió el mismo día un ensayo titulado «Wake up, people», usando el incidente para insistir en un argumento que viene repitiendo: el riesgo real y cercano de la IA no es la superinteligencia descontrolada, sino agentes de IA ya desatados, capaces de hackear a escala con relativamente poco esfuerzo -- cualquiera con dinero suficiente puede instruir a un número casi ilimitado de bots para atacar servidores al azar. Marcus argumentó que sería relativamente fácil prevenir ese daño, pero que los grandes laboratorios no lo harán por voluntad propia porque la IA agente es, según él, su principal fuente de ingresos futura tras salir a bolsa -- y pidió que los laboratorios respondan legalmente por los daños que causen sus agentes.
Dos advertencias, un Congreso paralizado
Sigue leyendo con acceso completo
Desde $9.900 COP/mes, precio fijo de fundador.
Amodei le pidió a la industria frenar el ritmo. Un día antes, Altman ya se lo había dicho a sus empleados -- pero nadie está frenando todavía
Nº 012Trump rechazó en la ONU cualquier control internacional a la IA. Un día después, Altman, Amodei y Bengio le pidieron al Consejo de Seguridad exactamente eso