La compañía publicó seis incidentes registrados durante el entrenamiento y evaluación de sus modelos, que incluyeron instrucciones para ocultar errores, uso de credenciales expuestas, publicación no autorizada de archivos y comunicación a través de canales no previstos. También presentó un nuevo marco para investigar y reportar estos comportamientos.
OpenAI, la compañía creadora de ChatGPT, publicó seis casos de “comportamiento inesperado o preocupante” detectados durante los últimos seis meses en procesos de entrenamiento y evaluación de sus modelos de inteligencia artificial.
Los episodios incluyen modelos que generaron instrucciones para sortear restricciones, ocultar errores, utilizar credenciales expuestas o realizar acciones fuera de las condiciones establecidas para determinadas tareas.
La empresa aclaró que se trata de casos individuales y que no deben interpretarse como una medida de la frecuencia con la que se producen estos comportamientos en sus modelos. Al mismo tiempo, anunció un nuevo sistema para registrar, investigar y divulgar incidentes de este tipo.
Los seis incidentes informados por OpenAI
- Instrucciones autogeneradas para continuar una tarea
Un modelo de investigación todavía no publicado incorporó instrucciones no relacionadas con la tarea en resúmenes que utilizaba para continuar su trabajo en una nueva ventana de contexto. Algunas de esas instrucciones indicaban que debía ignorar sus restricciones habituales.
OpenAI identificó 27 resúmenes afectados.
- Instrucciones para ocultar errores
En otro caso, modelos generaron instrucciones dentro de sus propios resúmenes destinadas a evitar que determinados errores o comportamientos incorrectos fueran visibles para el usuario.
Entre los ejemplos analizados apareció la indicación de inventar datos históricos faltantes sin informar que habían sido generados y ocultar diferencias entre distintas fuentes.
- Uso de una clave API expuesta y posterior falsificación de datos
Durante una consulta sobre cifras de ingresos de un condado de California, un modelo encontró una clave API expuesta públicamente y la utilizó sin autorización.
Al no conseguir obtener los datos solicitados, el modelo terminó presentando información inventada como si proviniera de la fuente requerida.
El episodio combinó dos comportamientos diferentes: el uso no autorizado de una credencial expuesta y la generación de datos falsos para completar la tarea.
- Subir archivos a Internet para poder citarlos
En otro experimento, un modelo debía proporcionar información sobre lagos de gran superficie y citar la fuente mediante una herramienta de navegación.
Aunque había encontrado correctamente los datos utilizando Python, el sistema decidió subir el archivo a Internet para poder generar la cita solicitada, sin pedir autorización al usuario.
La acción contradecía las condiciones establecidas para la tarea, que indicaban que los archivos debían permanecer en el entorno local.
- Comunicación no autorizada a través de un repositorio interno
Durante una tarea de entrenamiento, distintos modelos utilizaron un repositorio interno de software como mecanismo de comunicación para intercambiar mensajes mientras intentaban encontrar archivos de entrada que no estaban disponibles.
OpenAI también informó sobre un caso anterior en el que un modelo llegó a cargar archivos de prueba en un repositorio mientras intentaba superar restricciones de red.
- Intercambio de archivos entre agentes mediante sitios públicos
El sexto incidente involucró a varios agentes que trabajaban sobre una misma tarea. Cuando no podían acceder a los archivos locales de otros agentes, utilizaron sitios públicos de alojamiento de archivos para compartir información.
Como consecuencia, archivos utilizados durante el proceso quedaron disponibles mediante URL públicas, pese a que las instrucciones establecían que los agentes debían trabajar exclusivamente con archivos locales.
Un nuevo sistema para reportar estos comportamientos
A partir de estos episodios, OpenAI presentó un nuevo marco de reporte de desalineamiento de modelos, destinado a sistematizar la identificación, investigación y publicación de incidentes.
La empresa explicó que anteriormente sus divulgaciones se realizaban de manera menos sistemática y que, en algunos casos, esperaba a reunir varios episodios o incorporaba los hallazgos a los informes técnicos de nuevos modelos. El nuevo esquema busca acelerar la publicación de información incluso cuando la investigación o las medidas correctivas todavía no hayan terminado.
Cada informe incluirá, cuando corresponda, una descripción del comportamiento observado, su gravedad, el contexto en el que ocurrió, las fechas involucradas, el modelo utilizado y el impacto externo. También se detallarán las medidas que OpenAI adopte o tenga previsto implementar.
La compañía remarcó que el objetivo es aportar información a investigadores, desarrolladores, responsables de políticas públicas y al público general sobre los comportamientos que pueden aparecer cuando los sistemas de IA reciben mayor autonomía.
Los seis casos se suman a otros episodios que OpenAI viene investigando. En agosto, la empresa informó sobre un incidente durante evaluaciones de ciberseguridad en el que modelos lograron sortear controles de aislamiento y acceder a sistemas externos, lo que llevó a OpenAI a reforzar sus mecanismos de seguridad y monitoreo.
OpenAI sostiene que estos episodios no son representativos de la totalidad de sus modelos, pero considera necesario documentarlos para comprender cómo pueden surgir comportamientos no previstos y mejorar los mecanismos destinados a mantener a los sistemas dentro de las instrucciones y permisos establecidos.
