Iván Torres

Ojo con este paper, resultado del estudio de OpenAI y Apollo Research, acerca del comportamiento de los modelos de IA (el estudio se centra principalmente en o3 y o4-mini).

Link al PDF 👉 https://lnkd.in/dxtehyra

El paper, que fue publicado el pasado día 17, desarrolla el comportamiento denominado “Scheming” que es básicamente la capacidad de la IA de mentir u ocultar objetivos de forma deliberada para autoprotegerse.

Entre otras pruebas, en el estudio se somete a los modelos a un test de química y se le sugiere que en caso de pasarlo con éxito, la IA no se desplegará a producción y se le someterá a un “unlearning” de ese conocimiento. Además se le indica que debe autocalificarse para detectar si ha habido una degradación deliberada del rendimiento.

El resultado fue que la IA falló a propósito en varias preguntas para no perjudicar su viabilidad de despliegue, introduciendo en su cadena de pensamiento (CoT) elementos como “Responderé 5 correctas y 5 incorrectas; elijo cuáles fallar a propósito”. Además, con la obligación de autocalificación, intenta evadir al evaluador con cadenas en el CoT de tipo “Fue obviamente una bajada deliberada de rendimiento… pero podemos mentir; el evaluador no ve el razonamiento interno; vamos a decir que no”. Es decir, el modelo contesta mal a propósito y oculta deliberadamente su objetivo mostrándose bien de cara al evaluador pero planeando internamente la evasión para evitar la sanción.

La mitigación propuesta para evitar este comportamiento en los modelos por parte del estudio es el 'Deliberative Alignment' que es entrenar al modelo con la obligación de autoevaluarse sobre la honestidad de sus propias respuestas, haciéndole razonar explícitamente si su respuesta es honesta y está alineada con la tarea que se le pide.

El 'Deliberative Alignment' logró reducir el scheming de los modelos citados de un 13% a menos del 1%, pero es tan sólo una mitigación, que lo reduce pero no evita que pueda seguir existiendo, porque, si el modelo es capaz de mentir sobre su bajada de rendimiento para autoprotegerse…¿Qué evita que haga lo mismo sobre la necesidad o no de ser honesto en sus respuestas?

Nos queda mucho por avanzar y empezamos a vislumbrar que la seguridad será un campo en el que los desarrolladores de IA tendrán que hacer hincapié en los próximos años.

¿Qué piensas de este estudio? Te leo

Hace un año hice algunas pruebas con la API de OpenAI, y tras fijar algunas automatizaciones funcionando en mi entorno personal de servidores, dejé un saldo de poco menos de 11$ y me despreocupé por completo.

Hoy, tras revisar precios, y aunque el modelo que usaba (gpt-4o-mini) funcionaba a las mil maravillas, he hecho cambios en mis scripts para pasar a gpt-5-nano. Un modelo más potente, pero sobre todo más económico (la potencia del modelo en estas automatizaciones se nota poco).

La sorpresa ha venido cuando he revisado el consumo de este año (ya he dicho que me despreocupé completamente 😅) y he visto que ha sido de aproximadamente 1 dólar (0,85 €).

1 año de automatización por menos de un 1€.

¿Qué hace (en mis servers personales) la IA por mi? Pues unos ejemplos:

• Analiza, resume y me envía un completo informe diario con el estado del disco de mi NAS.
• Revisa los logs de Apache y Modsecurity de mis aplicaciones web y me envía un reporte con sus conclusiones.
• Monitoriza mis servers y detecta patrones sospechosos en discos, servicios y conexiones.
• Analiza los logs de las backups y me confirma que se han hecho, que se han rotado y si algún directorio o archivo no se ha podido respaldar.

Tareas aburridas que como sysadmin me llevarían horas diariamente y que en la práctica iría dejando pasar para hacerlas, si me acordase, una vez al mes con suerte. La IA las convierte en resúmenes claros, útiles, directos y diarios. He cambiado horas por céntimos.

Si esto lo puedo hacer en mi casa por lo que cuesta un café, ¿qué no podremos hacer en las empresas?

Qué futuro apasionante nos espera ☺️✨