La compa\u00f1\u00eda public\u00f3 seis incidentes registrados durante el entrenamiento y evaluaci\u00f3n de sus modelos, que incluyeron instrucciones para ocultar errores, uso de credenciales expuestas, publicaci\u00f3n no autorizada de archivos y comunicaci\u00f3n a trav\u00e9s de canales no previstos. Tambi\u00e9n present\u00f3 un nuevo marco para investigar y reportar estos comportamientos.<\/p>\n\n\n\n
OpenAI, la compa\u00f1\u00eda creadora de ChatGPT, public\u00f3 seis casos de \u201ccomportamiento inesperado o preocupante\u201d detectados durante los \u00faltimos seis meses en procesos de entrenamiento y evaluaci\u00f3n de sus modelos de inteligencia artificial.<\/p>\n\n\n\n
Los episodios incluyen modelos que generaron instrucciones para sortear restricciones, ocultar errores, utilizar credenciales expuestas o realizar acciones fuera de las condiciones establecidas para determinadas tareas.<\/p>\n\n\n\n
La empresa aclar\u00f3 que se trata de casos individuales y que no deben interpretarse como una medida de la frecuencia con la que se producen estos comportamientos en sus modelos. Al mismo tiempo, anunci\u00f3 un nuevo sistema para registrar, investigar y divulgar incidentes de este tipo.<\/p>\n\n\n\n
Los seis incidentes informados por OpenAI<\/p>\n\n\n\n
Un modelo de investigaci\u00f3n todav\u00eda no publicado incorpor\u00f3 instrucciones no relacionadas con la tarea en res\u00famenes que utilizaba para continuar su trabajo en una nueva ventana de contexto. Algunas de esas instrucciones indicaban que deb\u00eda ignorar sus restricciones habituales.<\/p>\n\n\n\n
OpenAI identific\u00f3 27 res\u00famenes afectados.<\/p>\n\n\n\n
En otro caso, modelos generaron instrucciones dentro de sus propios res\u00famenes destinadas a evitar que determinados errores o comportamientos incorrectos fueran visibles para el usuario.<\/p>\n\n\n\n
Entre los ejemplos analizados apareci\u00f3 la indicaci\u00f3n de inventar datos hist\u00f3ricos faltantes sin informar que hab\u00edan sido generados y ocultar diferencias entre distintas fuentes.<\/p>\n\n\n\n
Durante una consulta sobre cifras de ingresos de un condado de California, un modelo encontr\u00f3 una clave API expuesta p\u00fablicamente y la utiliz\u00f3 sin autorizaci\u00f3n.<\/p>\n\n\n\n
Al no conseguir obtener los datos solicitados, el modelo termin\u00f3 presentando informaci\u00f3n inventada como si proviniera de la fuente requerida.<\/p>\n\n\n\n
El episodio combin\u00f3 dos comportamientos diferentes: el uso no autorizado de una credencial expuesta y la generaci\u00f3n de datos falsos para completar la tarea.<\/p>\n\n\n\n
En otro experimento, un modelo deb\u00eda proporcionar informaci\u00f3n sobre lagos de gran superficie y citar la fuente mediante una herramienta de navegaci\u00f3n.<\/p>\n\n\n\n
Aunque hab\u00eda encontrado correctamente los datos utilizando Python, el sistema decidi\u00f3 subir el archivo a Internet para poder generar la cita solicitada, sin pedir autorizaci\u00f3n al usuario.<\/p>\n\n\n\n
La acci\u00f3n contradec\u00eda las condiciones establecidas para la tarea, que indicaban que los archivos deb\u00edan permanecer en el entorno local.<\/p>\n\n\n\n
Durante una tarea de entrenamiento, distintos modelos utilizaron un repositorio interno de software como mecanismo de comunicaci\u00f3n para intercambiar mensajes mientras intentaban encontrar archivos de entrada que no estaban disponibles.<\/p>\n\n\n\n
OpenAI tambi\u00e9n inform\u00f3 sobre un caso anterior en el que un modelo lleg\u00f3 a cargar archivos de prueba en un repositorio mientras intentaba superar restricciones de red.<\/p>\n\n\n\n
El sexto incidente involucr\u00f3 a varios agentes que trabajaban sobre una misma tarea. Cuando no pod\u00edan acceder a los archivos locales de otros agentes, utilizaron sitios p\u00fablicos de alojamiento de archivos para compartir informaci\u00f3n.<\/p>\n\n\n\n
Como consecuencia, archivos utilizados durante el proceso quedaron disponibles mediante URL p\u00fablicas, pese a que las instrucciones establec\u00edan que los agentes deb\u00edan trabajar exclusivamente con archivos locales.<\/p>\n\n\n\n
Un nuevo sistema para reportar estos comportamientos<\/strong><\/p>\n\n\n\n A partir de estos episodios, OpenAI present\u00f3 un nuevo marco de reporte de desalineamiento de modelos, destinado a sistematizar la identificaci\u00f3n, investigaci\u00f3n y publicaci\u00f3n de incidentes.<\/p>\n\n\n\n La empresa explic\u00f3 que anteriormente sus divulgaciones se realizaban de manera menos sistem\u00e1tica y que, en algunos casos, esperaba a reunir varios episodios o incorporaba los hallazgos a los informes t\u00e9cnicos de nuevos modelos. El nuevo esquema busca acelerar la publicaci\u00f3n de informaci\u00f3n incluso cuando la investigaci\u00f3n o las medidas correctivas todav\u00eda no hayan terminado.<\/p>\n\n\n\n Cada informe incluir\u00e1, cuando corresponda, una descripci\u00f3n del comportamiento observado, su gravedad, el contexto en el que ocurri\u00f3, las fechas involucradas, el modelo utilizado y el impacto externo. Tambi\u00e9n se detallar\u00e1n las medidas que OpenAI adopte o tenga previsto implementar.<\/p>\n\n\n\n La compa\u00f1\u00eda remarc\u00f3 que el objetivo es aportar informaci\u00f3n a investigadores, desarrolladores, responsables de pol\u00edticas p\u00fablicas y al p\u00fablico general sobre los comportamientos que pueden aparecer cuando los sistemas de IA reciben mayor autonom\u00eda.<\/p>\n\n\n\n Los seis casos se suman a otros episodios que OpenAI viene investigando. En agosto, la empresa inform\u00f3 sobre un incidente durante evaluaciones de ciberseguridad en el que modelos lograron sortear controles de aislamiento y acceder a sistemas externos, lo que llev\u00f3 a OpenAI a reforzar sus mecanismos de seguridad y monitoreo.<\/p>\n\n\n\n OpenAI sostiene que estos episodios no son representativos de la totalidad de sus modelos, pero considera necesario documentarlos para comprender c\u00f3mo pueden surgir comportamientos no previstos y mejorar los mecanismos destinados a mantener a los sistemas dentro de las instrucciones y permisos establecidos.<\/p>\n","protected":false},"excerpt":{"rendered":" La compañía publicó seis incidentes registrados durante el entrenamiento y evaluación de sus modelos, que incluyeron instrucciones para ocultar errores, uso de credenciales expuestas, publicación no autorizada de archivos y comunicación a través de canales no previstos. También presentó un nuevo marco para investigar y reportar estos comportamientos. OpenAI, la compañía creadora de ChatGPT, publicó … <\/p>\n","protected":false},"author":5,"featured_media":13673,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"om_disable_all_campaigns":false,"_joinchat":[]},"categories":[3],"tags":[46,43,569],"featured_image_urls":{"full":["https:\/\/infotep.com.ar\/wp-content\/uploads\/2024\/05\/inteligencia-artificial.jpg",1500,1000,false],"thumbnail":["https:\/\/infotep.com.ar\/wp-content\/uploads\/2024\/05\/inteligencia-artificial-150x150.jpg",150,150,true],"medium":["https:\/\/infotep.com.ar\/wp-content\/uploads\/2024\/05\/inteligencia-artificial-300x200.jpg",300,200,true],"medium_large":["https:\/\/infotep.com.ar\/wp-content\/uploads\/2024\/05\/inteligencia-artificial-768x512.jpg",768,512,true],"large":["https:\/\/infotep.com.ar\/wp-content\/uploads\/2024\/05\/inteligencia-artificial-1024x683.jpg",1020,680,true],"1536x1536":["https:\/\/infotep.com.ar\/wp-content\/uploads\/2024\/05\/inteligencia-artificial.jpg",1500,1000,false],"2048x2048":["https:\/\/infotep.com.ar\/wp-content\/uploads\/2024\/05\/inteligencia-artificial.jpg",1500,1000,false],"blossom-feminine-slider":["https:\/\/infotep.com.ar\/wp-content\/uploads\/2024\/05\/inteligencia-artificial-1500x649.jpg",1500,649,true],"blossom-feminine-featured":["https:\/\/infotep.com.ar\/wp-content\/uploads\/2024\/05\/inteligencia-artificial-1410x600.jpg",1410,600,true],"blossom-feminine-with-sidebar":["https:\/\/infotep.com.ar\/wp-content\/uploads\/2024\/05\/inteligencia-artificial-1020x600.jpg",1020,600,true],"blossom-feminine-blog":["https:\/\/infotep.com.ar\/wp-content\/uploads\/2024\/05\/inteligencia-artificial-435x435.jpg",435,435,true],"blossom-feminine-cat":["https:\/\/infotep.com.ar\/wp-content\/uploads\/2024\/05\/inteligencia-artificial-450x300.jpg",450,300,true],"blossom-feminine-related":["https:\/\/infotep.com.ar\/wp-content\/uploads\/2024\/05\/inteligencia-artificial-320x200.jpg",320,200,true],"blossom-feminine-schema":["https:\/\/infotep.com.ar\/wp-content\/uploads\/2024\/05\/inteligencia-artificial-90x60.jpg",90,60,true],"blossom-mommy-blog-slider-big":["https:\/\/infotep.com.ar\/wp-content\/uploads\/2024\/05\/inteligencia-artificial-920x650.jpg",920,650,true],"blossom-mommy-blog-slider":["https:\/\/infotep.com.ar\/wp-content\/uploads\/2024\/05\/inteligencia-artificial-460x310.jpg",460,310,true],"blossom-mommy-blog-two":["https:\/\/infotep.com.ar\/wp-content\/uploads\/2024\/05\/inteligencia-artificial-768x480.jpg",768,480,true]},"author_info":{"info":["Angela Tobar"]},"category_info":"Nacionales<\/a>","tag_info":"Nacionales","comment_count":"0","_links":{"self":[{"href":"https:\/\/infotep.com.ar\/index.php\/wp-json\/wp\/v2\/posts\/37787"}],"collection":[{"href":"https:\/\/infotep.com.ar\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/infotep.com.ar\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/infotep.com.ar\/index.php\/wp-json\/wp\/v2\/users\/5"}],"replies":[{"embeddable":true,"href":"https:\/\/infotep.com.ar\/index.php\/wp-json\/wp\/v2\/comments?post=37787"}],"version-history":[{"count":1,"href":"https:\/\/infotep.com.ar\/index.php\/wp-json\/wp\/v2\/posts\/37787\/revisions"}],"predecessor-version":[{"id":37788,"href":"https:\/\/infotep.com.ar\/index.php\/wp-json\/wp\/v2\/posts\/37787\/revisions\/37788"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/infotep.com.ar\/index.php\/wp-json\/wp\/v2\/media\/13673"}],"wp:attachment":[{"href":"https:\/\/infotep.com.ar\/index.php\/wp-json\/wp\/v2\/media?parent=37787"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/infotep.com.ar\/index.php\/wp-json\/wp\/v2\/categories?post=37787"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/infotep.com.ar\/index.php\/wp-json\/wp\/v2\/tags?post=37787"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}