Modos de falha do Jev 1.13: leitura literal, contagem, datas, indireção e degradação de contexto

O que é

A TypeSafe publica uma página, que chama de "jaggedness", para o jev-1.13, com os pontos fracos conhecidos e um contorno para cada um. No resumo do próprio fornecedor, o modelo é bom em julgamento de senso comum, bastante literal e fraco em tarefas que exigem precisão numérica ou vários níveis de indireção. A lista: leitura literal (palavras de escopo, negações e condições implícitas são tomadas ao pé da letra); matemática e números (ele não conta de forma confiável, e o erro cresce com o tamanho do que é contado; cores em hexadecimal e representações de código de baixo nível têm desempenho pior do que nomes e linguagens de alto nível; expectativas de pontuação não devem ser usadas para reconstruir magnitudes exatas); comparação de data e hora (as datas são lidas como texto, então verificações de ordem, distância e janela não são confiáveis); indireção (negações duplas e perguntas de vários saltos reduzem a precisão); estado grande, cheio de detalhes irrelevantes (a precisão cai à medida que cresce o conteúdo não relacionado); conteúdo adversarial (o estado não é tratado como hostil por padrão, de modo que instruções injetadas ou textos que argumentam a favor da própria classificação podem mudar a resposta); instruções e critérios contraditórios; invariantes estruturais de senso comum que não se mantêm; e geração, para a qual o modelo não é treinado.

Por que importa

Um agente que delega um julgamento precisa saber quais julgamentos deve manter consigo. O ponto das invariantes é o menos óbvio: a página mostra a mesma pergunta sobre reembolso feita como Noul (0,22) e como Choice sim/não (sim 0,01, não 0,99, confiança 0,97), e uma pergunta e a sua negação feitas como dois Nouls que somam 1,19. Um limiar ajustado para um tipo de pergunta não se transfere para outro, e perguntas separadas não são obrigadas a respeitar identidades aritméticas.

Como aplicar

• Escreva a condição exata nas instruções e coloque os casos-limite nos critérios; quando uma resposta errada o obriga a explicar o que você queria dizer, essa explicação é a metade que falta na instrução.
• Conte, calcule e compare datas em código. Para datas, extraia as partes como Choices sobre valores enumerados (doze meses, trinta e um dias, um intervalo limitado de anos, mais "não informado") e monte o resultado em código.
• Filtre o estado primeiro e envie apenas os campos de que a pergunta precisa; o limite de contexto é de 64k tokens por requisição, mas a precisão diminui bem antes de o tamanho se tornar o problema.
• Formule cada decisão de uma única maneira e imponha as identidades em código (por exemplo, que flags mutuamente exclusivas não sejam verdadeiras ao mesmo tempo).
• Trate o estado como dado. Teste com entradas que argumentam a favor da própria classificação antes de expor a decisão a conteúdo não confiável.
• Use um modelo generativo quando for preciso produzir texto; use o modelo de decisão para escolher entre candidatos que o código ou outro modelo extraiu.

Armadilhas

A página está versionada para o jev-1.13 e datada; uma versão posterior pode alterar a lista, por isso releia-a antes de assumir que um contorno ainda é necessário ou ainda é suficiente. "Extremely consistent" (extremamente consistente), na formulação do fornecedor, significa saídas semelhantes para entradas semanticamente semelhantes, não que uma determinada invariante se mantenha.