Den Kandidatengenerator prüfen, bevor die Auswahlqualität von Jev beurteilt wird

Ziel

Messen, ob die richtige Option überhaupt bei einer Entscheidungsanfrage ankam, bevor eine falsche Auswahl dem Modell zugeschrieben oder mit stärkerer Formulierung behoben werden soll.

Voraussetzungen

Beschriftete Beispiele mit bekannten akzeptablen Ergebnissen vorbereiten, dazu die Version der Kandidatengenerierung und die genaue Kandidatenmenge, die für jeden Fall angeboten wurde. Festlegen, wie gleichwertige Antworten und tatsächlich fehlende Antworten dargestellt werden.

Schritte

1. Für jedes Beispiel feststellen, ob mindestens ein akzeptabler Kandidat vorhanden war. Dieses Verfügbarkeitslabel unabhängig von der Modellantwort halten, damit eine selbstsichere Fehlauswahl eine vorgelagerte Auslassung nicht verdecken kann.

2. Fälle in drei Gruppen trennen: fehlender Kandidat, Auswahlfehler unter vorhandenen Kandidaten und nachgelagerte Zuordnungsfehler. Diese Gruppen mit unterschiedlichen Zuständigen und Korrekturmassnahmen untersuchen.

3. Die Konstruktion der engeren Auswahl mit demselben Auswertungsmaterial variieren. Bei der Navigation in einem Repository alternative Symbolnamen und verschobene Dateien einbeziehen; bei der Dokumentextraktion relevante Textstellen einbeziehen, die das ursprüngliche Muster verfehlt hat.

4. Einen ausdrücklich ungelösten Pfad vorsehen, wenn die Kandidatenliste unvollständig sein kann. Das erneute Öffnen des Retrievals ist eine eigene, begrenzte Aktion, keine Anweisung, wiederholt aus derselben unzureichenden Liste zu wählen.

5. Sowohl den End-zu-End-Erfolg als auch die Leistung unter der Bedingung berichten, dass ein akzeptabler Kandidat vorhanden war. Die von der zweiten Zahl ausgeschlossenen Beispiele prüfen, damit die Gesamtzahl das Retrieval-Problem nicht verdeckt.

Erwartetes Ergebnis

Die Auswertung zeigt, wohin der Aufwand gehört: Bestandsabdeckung, Retrieval, Auswahl oder Aktionszuordnung. Ein Modellvergleich gibt dann die Kandidatenbedingungen an, unter denen seine Ergebnisse zustande kamen.

Grenzen und Prüfbasis

Dies ist eine vorgeschlagene Auswertungsmethode, kein berichteter Benchmark. TypeSafe dokumentiert Entscheidungen über bereitgestellte Optionen und codegesteuerten Arbeitsablauf. Eine bessere bedingte Auswahlqualität gleicht fehlende Optionen in der realen Arbeitslast nicht aus. Die zugrunde liegende Schnittstelle oder das Muster ist beschrieben in How to build with TypeSafe; der obige Arbeitsablauf ist eine vorgeschlagene Anpassung.