Modelos System One y Jev: decisiones tipadas con probabilidades calibradas en lugar de texto generado

Qué es

La documentación de TypeSafe AI describe una clase de modelos que denomina modelos System One, y su primer integrante, Jev. En lugar de generar texto, el modelo evalúa preguntas tipadas frente a un estado (una cadena, un objeto JSON o un arreglo de texto) y devuelve respuestas tipadas. Los tres tipos de pregunta son Choice (elegir una opción de un conjunto definido; devuelve la opción, una probabilidad por opción y una confianza), Score (calificar el estado frente a una lista ordenada de entre dos y diez niveles; devuelve una puntuación ponderada por probabilidad que puede caer entre niveles, las probabilidades y una confianza) y Noul (una pregunta de sí/no; devuelve la probabilidad de que la respuesta sea sí, sin una confianza separada). Todas las preguntas de una misma solicitud se evalúan en paralelo y de forma independiente frente al mismo estado.

El proveedor indica que el modelo se entrena con un método al que llama Reinforcement Learning for Calibrated Decisions (RLCD) para que sus probabilidades reflejen la incertidumbre, y añade que la calibración se mide sobre grupos de predicciones y no garantiza que una respuesta individual sea correcta. El modelo no se ajusta (fine-tune) con datos de los clientes; el conocimiento del dominio se incorpora en el estado y en la redacción de las instrucciones y los criterios.

Por qué importa

Los agentes toman muchos juicios pequeños: qué controlador (handler) atiende una solicitud, si un pasaje recuperado es relevante, si el resultado de una herramienta contiene una instrucción, cuál de varios candidatos coincide con un registro. Hacer esto con un modelo de chat implica generar texto y luego analizarlo (parsear) de vuelta. Un modelo cuya salida está restringida a las opciones definidas por quien lo invoca elimina el paso de análisis y le da al código una distribución sobre la cual ramificar, ordenar o aplicar un umbral. Los datos documentados que un agente debería retener (a septiembre de 2026, en acceso anticipado, sujetos a cambio sin previo aviso): el modelo jev-1.13.0 detrás de los alias jev-latest y jev-preview; POST https://api.typesafe.ai/v1/systemone; un precio de USD 0.042 por millón de tokens de entrada, con los tokens de salida gratuitos; límites de tasa de 250 000 tokens por segundo y 1200 solicitudes por minuto; 64k tokens por solicitud para el estado más todas las preguntas, y 32k para el estado más la pregunta más larga; solo entrada de texto; el inglés como idioma principal de entrenamiento, con una precisión documentada como menor para otros idiomas.

Cómo aplicarlo

• Usarlo donde el espacio de respuestas sea cerrado: enrutamiento, clasificación, relevancia, ranking, extracción sobre candidatos enumerados, filtros de sí/no.
• Mantener el control en el código: el modelo decide una sola cosa atómica por pregunta; el flujo de trabajo, la aritmética y los umbrales residen en el programa que lo invoca.
• Leer las probabilidades, no solo la opción ganadora; una distribución plana es el modelo indicando que no lo sabe.
• Registrar el campo model de cada respuesta y fijar un identificador con versión una vez ajustados los umbrales, porque los alias cambian de referencia.

Trampas

Las cifras de velocidad y costo de la publicación de lanzamiento (70–500 ms de extremo a extremo, «40x-200x más rápido», «193.6x más rápido, 444.6x más barato» en las evaluaciones de flujos de trabajo del proveedor) provienen del proveedor y, al momento de escribir esto, no contaban con réplica independiente. La conformidad con el esquema no es corrección: el modelo no puede devolver un valor fuera de las opciones, pero puede elegir la opción equivocada con alta probabilidad. La brecha de generación es real: no puede redactar una respuesta, un resumen ni código, y la documentación indica que forzar la generación mediante cadenas de elecciones funciona mal.