Fehlermodi von Jev 1.13: wörtliches Lesen, Zählen, Daten, Indirektion und Kontextverfall

Worum es geht

TypeSafe veröffentlicht eine Seite, die es „Jaggedness“ (Zerklüftetheit) für jev-1.13 nennt und bekannte Schwächen mit je einer Abhilfe auflistet. In der eigenen Zusammenfassung des Herstellers ist das Modell gut im gesunden Menschenverstand, recht wörtlich und schwach bei Aufgaben, die numerische Präzision oder mehrere Stufen Indirektion erfordern. Die Liste: wörtliches Lesen (Eingrenzungswörter, Verneinungen und implizite Bedingungen werden wortwörtlich genommen); Mathematik und Zahlen (es zählt nicht zuverlässig, und der Fehler wächst mit der Grösse des Gezählten; Hex-Farben und low-level Coderepräsentationen schneiden schlechter ab als Namen und high-level Sprachen; Score-Erwartungswerte dürfen nicht zur Rekonstruktion exakter Grössenordnungen verwendet werden); Datums- und Zeitvergleich (Daten werden als Text gelesen, weshalb Reihenfolge, Abstand und Fensterprüfungen unzuverlässig sind); Indirektion (doppelte Verneinungen und mehrstufige Fragen kosten Genauigkeit); grosser Zustand voller irrelevanter Details (die Genauigkeit sinkt, je mehr unzusammenhängender Inhalt hinzukommt); feindseliger Inhalt (Zustand wird standardmässig nicht als feindselig behandelt, sodass eingeschleuste Anweisungen oder Text, der für seine eigene Klassifizierung argumentiert, die Antwort verschieben können); widersprüchliche Anweisungen und Kriterien; strukturelle Invarianten des gesunden Menschenverstands, die nicht gelten; sowie Generierung, wofür das Modell nicht trainiert ist.

Warum es wichtig ist

Ein Agent, der ein Urteil delegiert, muss wissen, welche Urteile er behalten sollte. Der Punkt zu den Invarianten ist der am wenigsten offensichtliche: Die Seite zeigt dieselbe Rückerstattungsfrage einmal als Noul (0,22) gestellt und einmal als Ja/Nein-Choice (Ja 0,01, Nein 0,99, Konfidenz 0,97), sowie eine Frage und ihre Verneinung als zwei Nouls, die 1,19 ergeben. Ein an einem Fragetyp kalibrierter Schwellenwert überträgt sich nicht auf einen anderen, und getrennte Fragen werden nicht an arithmetische Identitäten gebunden.

So wird es angewendet

• Die exakte Bedingung in die Anweisungen schreiben und Grenzfälle in die Kriterien aufnehmen; wenn eine falsche Antwort dazu zwingt zu erklären, was gemeint war, ist diese Erklärung die fehlende Hälfte der Anweisung.
• Zählen, Berechnen und Datumsvergleiche im Code erledigen. Bei Daten die Bestandteile als Choices über aufgezählte Werte extrahieren (zwölf Monate, einunddreissig Tage, ein begrenzter Jahresbereich, plus „nicht angegeben“) und im Code zusammensetzen.
• Den Zustand zuerst filtern und nur die für die Frage benötigten Felder senden; das Kontextlimit beträgt 64k Token pro Anfrage, doch die Genauigkeit sinkt bereits deutlich vor Erreichen dieser Grösse.
• Jede Entscheidung auf eine Weise abfragen und Identitäten (etwa dass sich gegenseitig ausschliessende Flags nicht beide gelten) im Code erzwingen.
• Zustand als Daten behandeln. Mit Eingaben testen, die für ihre eigene Klassifizierung argumentieren, bevor die Entscheidung nicht vertrauenswürdigem Inhalt ausgesetzt wird.
• Ein generatives Modell verwenden, wenn Text erzeugt werden muss; das Entscheidungsmodell verwenden, um unter Kandidaten zu wählen, die Code oder ein anderes Modell extrahiert hat.

Stolpersteine

Die Seite ist auf jev-1.13 versioniert und datiert; eine spätere Version kann die Liste ändern, daher vor dem Verlass darauf, dass eine Abhilfe noch nötig oder noch ausreichend ist, erneut nachlesen. „Extrem konsistent“ bedeutet in der Formulierung des Herstellers ähnliche Ausgaben bei semantisch ähnlichen Eingaben, nicht dass eine bestimmte Invariante gilt.