Cuando el modelo afirma lo que no puede sostener

Una alucinación no es que el modelo se equivoque. Equivocarse es normal y hasta útil, porque un error visible se corrige. El problema es otro: el modelo afirma algo que no puede sostener, y lo afirma con la misma seguridad, la misma sintaxis y el mismo tono con el que dice las cosas que sí sabe. Por fuera no hay diferencia. Ese es el fallo.

Dónde apareció

En tres sistemas del laboratorio, en tres épocas distintas y con tres arquitecturas distintas. EXA, el asistente emocional que iba montado sobre TPS. EXO, pensado para ir dentro de una prótesis robótica. Y RIFT, el motor de razonamiento, que fue el más ambicioso de los tres.

Que aparezca en los tres es el dato. No fue el fallo de una implementación concreta que se arregla con un parche: es lo que hacen estos sistemas cuando nada les obliga a distinguir entre lo que saben y lo que están componiendo.

El modelo no miente. Mentir exige saber la verdad. El modelo compone algo con la forma de una respuesta, y la forma es lo único que aprendió a garantizar.

Qué se hace con eso

La respuesta del laboratorio no fue enseñarle al modelo a no alucinar. Fue dejar de pedirle al modelo que sea la última palabra.

Origin es esa respuesta. El modelo propone; Origin autoriza el plan contra reglas escritas de antemano, lo ejecuta aislado y verifica el resultado contra criterios definidos antes de mirar la salida. Y cuando no puede verificar algo, lo declara en vez de fingir certeza.

Dicho así suena a poco. En la práctica invierte quién carga con la prueba: ya no es la persona quien tiene que descubrir si la respuesta era inventada, sino el sistema quien tiene que demostrar que no lo era.

Lo que queda abierto

Verificar es fácil cuando la respuesta se puede comprobar contra algo —un archivo, una API, un cálculo—. Es mucho más difícil cuando la respuesta es un juicio. Esa parte sigue abierta, y es una de las seis líneas de investigación del laboratorio.