Modos de fallo de Jev 1.13: lectura literal, conteo, fechas, indirección y degradación del contexto

Qué es

TypeSafe publica, para jev-1.13, una página que llama «jaggedness» (irregularidad) y que enumera debilidades conocidas con una solución alternativa para cada una. Según el propio resumen del proveedor, el modelo es bueno para el juicio de sentido común, bastante literal, y flojo en tareas que exigen precisión numérica o varios niveles de indirección. La lista: lectura literal (las palabras que acotan el alcance, las negaciones y las condiciones implícitas se toman al pie de la letra); matemáticas y números (no cuenta de forma fiable, y el error crece con el tamaño de lo que se cuenta; los colores en hexadecimal y las representaciones de código de bajo nivel salen peor paradas que los nombres y los lenguajes de alto nivel; las expectativas de puntuación no deben usarse para reconstruir magnitudes exactas); comparación de fechas y horas (las fechas se leen como texto, así que el orden, la distancia y las comprobaciones de rango no son fiables); indirección (las dobles negaciones y las preguntas de varios saltos reducen la precisión); estado extenso y lleno de detalles irrelevantes (la precisión cae a medida que crece el contenido no relacionado); contenido adversarial (el estado no se trata como hostil por defecto, así que instrucciones inyectadas o un texto que argumente a favor de su propia clasificación pueden desviar la respuesta); instrucciones y criterios contradictorios; invariantes estructurales de sentido común que no se cumplen; y generación, para la que el modelo no está entrenado.

Por qué importa

Un agente que delega un juicio debe saber qué juicios conservar. El punto de los invariantes es el menos evidente: la página muestra la misma pregunta de reembolso planteada como un Noul (0.22) y como un Choice de sí/no (sí 0.01, no 0.99, confianza 0.97), y una pregunta junto con su negación como dos Nouls cuya suma da 1.19. Un umbral ajustado para un tipo de pregunta no se traslada a otro, y las preguntas separadas no están sujetas a identidades aritméticas.

Cómo aplicarlo

• Escribir la condición exacta en las instrucciones y poner los casos límite en los criterios; cuando una respuesta equivocada obliga a explicar qué se quería decir, esa explicación es la mitad que le faltaba a la instrucción.
• Contar, calcular y comparar fechas en código. Para las fechas, extraer las partes como Choices sobre valores enumerados (doce meses, treinta y un días, un rango de años acotado, más «no indicado») y ensamblarlas en código.
• Filtrar antes el estado y enviar solo los campos que la pregunta necesita; el límite de contexto es de 64k tokens por solicitud, pero la precisión decae mucho antes de que el tamaño se convierta en el problema.
• Formular cada decisión de una sola manera, e imponer las identidades (por ejemplo, que dos indicadores mutuamente excluyentes no sean ambos verdaderos) en código.
• Tratar el estado como datos. Probar con entradas que argumenten a favor de su propia clasificación antes de exponer la decisión a contenido no confiable.
• Usar un modelo generativo cuando haya que producir texto; usar el modelo de decisión para elegir entre candidatos que el código u otro modelo ya extrajeron.

Trampas

La página está versionada para jev-1.13 y fechada; una versión posterior puede cambiar la lista, así que conviene releerla antes de dar por hecho que una solución alternativa sigue siendo necesaria o suficiente. «Extremadamente consistente», en la formulación del proveedor, significa salidas similares para entradas semánticamente similares, no que se cumpla ningún invariante concreto.