Проверка генератора кандидатов перед оценкой качества выбора Jev

Цель

Измерьте, попал ли правильный вариант в запрос на решение, прежде чем приписывать неверный выбор модели или пытаться исправить его более сильными формулировками.

Предварительные условия

Подготовьте размеченные примеры с известными допустимыми результатами, версию генерации кандидатов и точный набор кандидатов, предложенный для каждого случая. Определите, как представлены эквивалентные ответы и действительно отсутствующие ответы.

Шаги

1. Для каждого примера определите, присутствовал ли хотя бы один допустимый кандидат. Сохраняйте эту метку наличия независимо от ответа модели, чтобы уверенный неправильный выбор не скрывал пропуск на предшествующем этапе.

2. Разделите случаи на сбои из-за отсутствия кандидата, ошибки выбора среди доступных кандидатов и сбои последующего сопоставления с действиями. Разбирайте эти группы с разными ответственными и корректирующими действиями.

3. Варьируйте построение короткого списка на том же материале оценки. Для навигации по репозиторию включите альтернативные имена символов и перемещённые файлы; для извлечения из документов — подходящие фрагменты, пропущенные исходным шаблоном.

4. Сохраняйте явный маршрут для нерешённого случая, когда список кандидатов может быть неполным. Повторное открытие поиска — отдельное ограниченное действие, а не указание снова и снова выбирать из того же недостаточного списка.

5. Сообщайте и сквозной успех, и качество при условии присутствия допустимого кандидата. Рассмотрите примеры, исключённые из второго показателя, чтобы основная цифра не скрывала проблему поиска.

Ожидаемый результат

Оценка показывает, куда следует направить усилия: полнота перечня, поиск, выбор или сопоставление с действиями. Сравнение моделей затем указывает условия, касающиеся кандидатов, при которых получены результаты.

Ограничения и основания проверки

Это предлагаемый метод оценки, а не отчёт о бенчмарке. TypeSafe документирует решения по предоставленным вариантам и управление рабочим процессом со стороны кода. Более высокое условное качество выбора не компенсирует отсутствующие варианты в реальной нагрузке. Базовый интерфейс или шаблон описан в How to build with TypeSafe; приведённый выше процесс — предлагаемая адаптация.