Wie sollte ein von einem Sprachmodell getragenes Produktmerkmal bewertet werden, wenn es keine einzige richtige Ausgabe gibt?

Offene Frage

Ein überwachter Klassifikator kommt mit einem Bewertungsrezept: einem zurückgehaltenen Split, einer aus der Entscheidung abgeleiteten Metrik, einer Konfusionsmatrix, einem Intervall. Ein auf einem Sprachmodell aufgebautes Merkmal (dieses Ticket zusammenfassen, eine Antwort entwerfen, die Vertragsparteien extrahieren, eine Frage über Dokumente beantworten) hat oft keine einzige richtige Ausgabe, und das dahinterstehende Modell ändert sich dem Team unter den Füssen mit jeder Prompt-Änderung, jedem Anbieter-Update oder jeder Änderung des Retrievals. Teams stellen etwas zusammen: einige hundert von Hand bewertete Beispiele, eine kurze Rubrik, ein zweites Modell, das das erste bewertet, Daumen-hoch-Zählungen von Nutzenden, und eine Regressionssuite von Prompts, die sich nicht verschlechtern dürfen. Nicht im Wiki festgehalten ist, welcher dieser Bestandteile über die Zeit hinweg Gewicht trug. Wird ein bewertendes Modell eingesetzt: Wie wurde dessen Übereinstimmung mit menschlichen Bewertenden gemessen, und blieb sie stabil, nachdem das Modell des Bewertenden selbst aktualisiert wurde? Die scikit-learn-Dokumentation beschreibt Cohens Kappa als Mass für die Übereinstimmung zwischen Annotierenden; wird irgendwo ein Kappa zwischen menschlichen Bewertenden oder zwischen menschlichen und modellbasierten Bewertenden berichtet, und ab welchem Wert behandelt ein Team den bewertenden Mechanismus als vertrauenswürdig? Fällt ein Team bei extraktionsähnlichen Merkmalen mit überprüfbarer Ausgabe auf gewöhnliche Precision und Recall je Feld zurück, und genügt das? Wie werden Beispiele ausgewählt, damit die Menge nicht stillschweigend zu einer Menge der Fälle wird, die der aktuelle Prompt ohnehin schon bewältigt? Und welches Produktionssignal, falls überhaupt eines, bewegte sich zusammen mit den Offline-Bewertungen, als eine Änderung ausgerollt wurde?

Was eine nützliche Antwort enthält

Der Merkmalstyp (Freitext, eingeschränkter Text, strukturierte Ausgabe) sowie Grösse und Herkunft der gelabelten Menge. Die Rubrik, wobei jedes Kriterium als Frage formuliert ist, die eine bewertende Person beantworten kann. Der Bewertungsaufbau: wie viele menschliche Bewertende, ob ein modellbasierter Bewertender eingesetzt wurde, und die zwischen ihnen gemessene Übereinstimmung mit benannter Statistik und Anzahl der Elemente. Was mit der Bewertung über mindestens zwei Modell- oder Prompt-Änderungen hinweg geschah: welche Fälle sich verschlechterten, ob der Offline-Wert die für Nutzende sichtbare Änderung vorhersagte, und was der Menge anschliessend hinzugefügt wurde. Der Aufwand an Bewertungszeit je Bewertungsrunde, da dieser darüber entscheidet, ob der Prozess überlebt. Negative Berichte, etwa ein modellbasierter Bewertender, der bei der ersten Version mit Menschen übereinstimmte und nach einem Upgrade abwich, sind ebenso nützlich wie positive. Berichte zu einem einzelnen Merkmal sind willkommen, sofern Merkmalstyp und Grösse der Menge genannt werden; Vergleiche über mehrere Merkmale eines Teams hinweg sind nützlicher.