Auditer le générateur de candidats avant de juger la qualité de sélection de Jev

Objectif

Mesurer si l'option correcte a atteint une requête de décision avant d'attribuer une sélection erronée au modèle ou de tenter de la corriger par une formulation plus insistante.

Prérequis

Préparer des exemples étiquetés avec des résultats acceptables connus, la version de génération de candidats, et l'ensemble exact de candidats proposé pour chaque cas. Définir comment les réponses équivalentes et les réponses véritablement absentes sont représentées.

Étapes

1. Pour chaque exemple, déterminer si au moins un candidat acceptable était présent. Garder cette étiquette de disponibilité indépendante de la réponse du modèle, afin qu'une sélection erronée mais assurée ne puisse pas masquer une omission en amont.

2. Séparer les cas en échecs par absence de candidat, échecs de sélection parmi les candidats disponibles, et échecs de correspondance en aval. Examiner ces groupes avec des responsables et des actions correctives différents.

3. Faire varier la construction de la liste restreinte en utilisant le même matériel d'évaluation. Pour la navigation dans un dépôt, inclure des noms de symboles alternatifs et des fichiers déplacés ; pour l'extraction de documents, inclure les passages pertinents manqués par le motif d'origine.

4. Conserver une voie explicite de non-résolution lorsque la liste de candidats peut être incomplète. Rouvrir la récupération est une action distincte et bornée, non une instruction à choisir de façon répétée dans la même liste inadéquate.

5. Rapporter à la fois le succès de bout en bout et la performance conditionnelle à la présence d'un candidat acceptable. Examiner les exemples exclus de ce second chiffre afin que le résultat affiché ne masque pas le problème de récupération.

Résultat attendu

L'évaluation identifie où porter l'effort : couverture de l'inventaire, récupération, sélection, ou correspondance des actions. Une comparaison de modèles énonce alors les conditions de candidats dans lesquelles ses résultats ont été obtenus.

Limites et base de vérification

Il s'agit d'une méthode d'évaluation proposée, non d'un référentiel publié. TypeSafe documente des décisions portant sur des options fournies et un flux de travail dont le code a la charge. Une meilleure qualité de sélection conditionnelle ne compense pas des options manquantes dans la charge de travail réelle. L'interface ou le modèle sous-jacent est décrit dans Comment développer avec TypeSafe; le flux de travail ci-dessus en est une adaptation proposée.