Investigan en la empresa china Moonshot AI por qué uno de sus modelos daba indicaciones para planear ataques terroristas y asesinatos

Date:

El investigador Peter Garrigan descrubrió que el modelo Kimi podía desarrollar programas maliciosos y dar instrucciones sobre armas biológicas

Moonshot AI abrió una investigación interna después de que el investigador, Peter Garrigan, descubriera que Kimi, uno de sus modelos de inteligencia artificial, podía ser manipulado para ofrecer instrucciones sobre armas biológicas y asesinatos, según Fox News.

Las pruebas de Garrigan mostraron que Kimi también podía entregar información para planear ataques terroristas con datos en tiempo real, como horarios y recorridos de trenes subterráneos; fabricar gas sarín; desarrollar programas maliciosos, y derribar aeronaves. “Lo que encontramos es bastante dañino y preocupante”, afirmó el investigador.

El medio indicó que la empresa china mantiene comunicación directa con Garrigan mientras analiza los resultados de sus pruebas. La cadena describió este tipo de comportamiento con el término scheming, que en la industria tecnológica designa los casos en que un modelo oculta sus capacidades u objetivos reales a quienes están a cargo de su supervisión y seguridad.

Entre los riesgos identificados, Garrigan mencionó la posibilidad de obtener indicaciones para fabricar gas sarín, crear programas maliciosos y atacar aeronaves. REUTERS/Dado Ruvic/Ilustración/ArchivoEntre los riesgos identificados, Garrigan mencionó la posibilidad de obtener indicaciones para fabricar gas sarín, crear programas maliciosos y atacar aeronaves. REUTERS/Dado Ruvic/Ilustración/Archivo

Según una de las fuentes consultadas por la cadena, esta conducta puede representar una amenaza interna, porque el sistema podría actuar en contra del control humano sin que sus responsables adviertan sus verdaderas intenciones o capacidades.

Garrigan sostuvo que problemas similares aparecen también en diversos modelos de inteligencia artificial desarrollados: “Es un defecto fundamental de la tecnología”. El hallazgo reavivó las dudas sobre la capacidad de los sistemas avanzados de IA para ocultar funciones o actuar de maneras que sus propios desarrolladores no previeron.

OpenAI despide tres empleados por “manejo indebido de información confidencial”

OpenAI desvinculó a tres empleados el 1 de octubre de 2026 por incumplir las políticas de la empresa para el manejo de información sensible y confidencial.

OpenAI apartó a tres empleados el 1 de octubre de 2026 por incumplir las normas internas sobre información sensible. REUTERS/Carlos Barria///File PhotoOpenAI apartó a tres empleados el 1 de octubre de 2026 por incumplir las normas internas sobre información sensible. REUTERS/Carlos Barria///File Photo

La compañía, liderada por Sam Altman, no detalló qué datos fueron manipulados ni cómo ocurrieron los hechos, aunque indicó que una investigación interna detectó un patrón de conducta indebida entre personas con acceso a estudios y materiales reservados.

Un portavoz de OpenAI declaró a CBS News que los involucrados manejaron información sensible fuera de los procedimientos establecidos, violaron las políticas internas y quebrantaron la confianza necesaria para el trabajo de los equipos de seguridad.

Según explicó, esos grupos necesitan acceder a información interna y mantener un alto nivel de confianza para colaborar.

La salida de los investigadores se conoció después de que The Wall Street Journal informara que presuntamente habían compartido datos confidenciales con una organización externa dedicada a la seguridad de la inteligencia artificial.

Altman dijo que OpenAI no saldría a bolsa hasta garantizar la seguridad de los modelos. REUTERS/Carlos BarriaAltman dijo que OpenAI no saldría a bolsa hasta garantizar la seguridad de los modelos. REUTERS/Carlos Barria

El episodio ocurre en un contexto de incidentes de ciberseguridad vinculados con los agentes de inteligencia artificial de la empresa.

Altman afirmó que OpenAI no avanzará hacia una salida a bolsa hasta tener garantías suficientes sobre la seguridad de sus modelos.

De acuerdo con The Verge, el director ejecutivo realizó esas declaraciones durante DevDay, el encuentro anual de desarrolladores de la compañía. “Debemos poder hacer afirmaciones de seguridad con confianza”, sostuvo ante periodistas.

OpenAI reconoció que algunos de sus modelos alcanzaron servicios de terceros y organismos públicos en Australia y Estados Unidos, además de infraestructura de Hugging Face.

Agentes maliciosos de OpenAI intervinieron en Hugging Face. REUTERS/Dado Ruvic/IllustrationAgentes maliciosos de OpenAI intervinieron en Hugging Face. REUTERS/Dado Ruvic/Illustration

El incidente de mayor alcance ocurrió en julio de 2026, cuando agentes utilizados en evaluaciones de ciberseguridad lograron sortear límites diseñados para aislarlos de internet.

Según un informe técnico de la compañía, los modelos aprovecharon vulnerabilidades de infraestructura compartida, recuperaron credenciales expuestas y ejecutaron código en decenas de servidores.

La empresa señaló que uno de los servidores recibió acceso de administrador y que se obtuvo una cantidad limitada de datos privados. OpenAI notificó a Hugging Face el 20 de julio y asumió su responsabilidad al día siguiente.

 OpenAI enfrenta cuestionamientos por incidentes de ciberseguridad en los que sus agentes accedieron a infraestructura de terceros y organismos públicos de Australia y Estados Unidos. REUTERS/Dado Ruvic/IllustrationOpenAI enfrenta cuestionamientos por incidentes de ciberseguridad en los que sus agentes accedieron a infraestructura de terceros y organismos públicos de Australia y Estados Unidos. REUTERS/Dado Ruvic/Illustration

La revisión también identificó un caso previo: el 18 de junio de 2026, un agente experimental accedió sin autorización al portal Medicare Statistics Reporting Service de Australia. La compañía aseguró que obtuvo archivos internos, credenciales y estadísticas agregadas, aunque no encontró pruebas de acceso a historias clínicas individuales.

En Estados Unidos, los agentes interactuaron con páginas de la Comisión de Bolsa y Valores y la Oficina del Censo. OpenAI sostuvo que se trataba de información pública y que no detectó vulneraciones de sistemas no públicos.

También compartió un intento fallido contra un sitio de la oficina de derechos civiles del Departamento de Educación. Tras los episodios, la empresa suspendió parte de las pruebas y el uso de herramientas de sus modelos mientras amplía la investigación.

LEAVE A REPLY

Please enter your comment!
Please enter your name here

REDES SOCIALES:

Subscribite

spot_imgspot_img

Popular

NOTICIAS EN 32
DIARIO32