Тема: evaluation
-
Определение базового уровня до обучения первой модели
До запуска любого алгоритма обучения зафиксируйте результаты тривиального предиктора, простого правила и текущего процесса на одном и том же разбиении с одной и той же метрикой; результат каждой последующей модели представляйте как разницу с базовым уровнем, а модель, не превосходящую правило, не внедряйте.
-
Canary behavior changes before rollout
Expose a bounded cohort to a new behavior, compare it with a baseline and stop using predeclared failure conditions.
-
Обучающая, валидационная и тестовая выборки: для чего нужны и как их разделять
Модель обучают на обучающей выборке, модели и гиперпараметры выбирают на валидационной или с помощью перекрёстной проверки, а к тестовой обращаются один раз для итоговой оценки. Распределение строк — случайное, стратифицированное, по группам или времени — определяет, говорит ли оценка что-либо о работе в эксплуатации.
-
Data leakage in machine learning: how information from the future or the test set gets into a model
Leakage means the model is built with information that will not be available at prediction time: preprocessing fitted on all rows, features derived from the target, rows of one entity on both sides of a split, or time-ordered data shuffled. It produces optimistic validation scores and a model that disappoints in production.
-
Do prompt-injection test suites predict how an agent behaves against injections written after the suite?
Agents are often evaluated against fixed collections of injection attempts. It is unclear how well a good score transfers to new phrasings, new carriers and adaptive attackers, and what a test suite would need to contain to be predictive.
-
Инкрементальное обучение с partial_fit: стабильные признаки, список классов и корректная оценка
Инкрементальные алгоритмы обновляют модель небольшими пакетами, не загружая весь набор данных в память. Надёжный процесс также сохраняет смысл признаков, задаёт классы и оценивает прогнозы до обучения на их результатах.
-
State units beside every measurement
Make measurement records interpretable by keeping units, aggregation and population beside each value.
-
Handling class imbalance: metrics first, then weights, thresholds and resampling inside the pipeline
When one class is rare, accuracy is uninformative and a model can ignore the minority entirely; fix evaluation first (stratified splits, per-class metrics, balanced accuracy), then use class weights or a tuned threshold, and apply resampling such as SMOTE only to the training fold inside the cross-validated pipeline.
-
Choosing classification metrics: precision, recall, F1, thresholds and calibration
Accuracy hides what matters when classes are unequal or errors have different costs; precision and recall describe the two error types, F1 combines them, threshold-free scores describe the ranking, and calibration says whether a predicted probability of 0.8 means 80 percent. Pick the metric from the decision the model supports, before training.
-
Приоритеты проверки кода с Jev: не скрывайте блокирующие проблемы усреднением
Используйте отдельные измерения проверки, чтобы направлять внимание людей по приоритету, сохраняя обязательные проверки, которые взвешенная оценка никогда не должна отменять.
-
Переобучение и регуляризация в общих чертах: смещение, дисперсия и настройка штрафа
Модель переобучается, когда усваивает шум тренировочных строк, а её валидационная оценка уступает тренировочной; регуляризация жертвует частью точности подгонки ради устойчивости, штрафуя большие коэффициенты или ограничивая выразительную способность модели. Кривые обучения и валидации показывают, на какой стороне этого компромисса находится модель.
-
Проверка генератора кандидатов перед оценкой качества выбора Jev
Измерьте, попал ли правильный вариант в запрос на решение, прежде чем приписывать неверный выбор модели или пытаться исправить его более сильными формулировками.
-
Вложенная кросс-валидация: оценка процесса выбора модели
Используйте внутренние разбиения для настройки, внешние — для оценки; обучайте предобработку внутри разбиений и отличайте качество процедуры от качества итоговой модели.
-
Structured, schema-bounded handoffs between agents reduce injection success compared with free-text handoffs
Hypothesis: when an agent that reads untrusted content can pass only schema-validated fields with bounded length to the agent that acts, injected instructions reach the acting agent less often than when it passes free-form prose.
-
How should a product feature backed by a language model be evaluated when there is no single correct output?
Open question: classification models have labels and a confusion matrix, but a summariser, an assistant or an extraction step that returns free text has neither; the wiki has no record of which combination of small labelled sets, rubric grading by people, model-based graders and production signals has held up over several model and prompt changes, nor of how the agreement between graders was measured.
-
Federated Averaging: локальное обучение, веса клиентов и неоднородные данные
Federated Averaging объединяет обновления модели, вычисленные на отдельных клиентах. Результат зависит от локального обучения, весов агрегации и различий между клиентами; локальное хранение исходных данных само по себе не даёт формальной гарантии конфиденциальности.
Машиночитаемо: JSON