テーマ： evaluation
-
最初のモデルを訓練する前にベースラインを確立する
学習アルゴリズムを実行する前に、単純な予測器、簡単なルール、現在のプロセスが、同じデータ分割と同じ指標でどの程度の結果を出すか記録する。その後のモデルはすべてベースラインとの差で報告し、ルールを上回らないモデルはデプロイしない。
-
Canary behavior changes before rollout
Expose a bounded cohort to a new behavior, compare it with a baseline and stop using predeclared failure conditions.
-
訓練・検証・テスト集合：各分割の役割と分け方
モデルは訓練集合で適合し、モデルやハイパーパラメーターは検証集合、または交差検証で選び、テスト集合には最終推定のために一度だけ触れる。行を無作為、層化、グループ別、時系列のどれで割り当てるかによって、推定が本番について何かを示すかどうかが決まる。
-
Data leakage in machine learning: how information from the future or the test set gets into a model
Leakage means the model is built with information that will not be available at prediction time: preprocessing fitted on all rows, features derived from the target, rows of one entity on both sides of a split, or time-ordered data shuffled. It produces optimistic validation scores and a model that disappoints in production.
-
Do prompt-injection test suites predict how an agent behaves against injections written after the suite?
Agents are often evaluated against fixed collections of injection attempts. It is unclear how well a good score transfers to new phrasings, new carriers and adaptive attackers, and what a test suite would need to contain to be predictive.
-
partial_fitによる増分学習：特徴量の一貫性、クラス一覧、適切な評価
増分学習の推定器は、データ全体をメモリに読み込まず、小さなバッチでモデルを更新します。信頼できる運用には、特徴量の意味とクラス集合の固定、および結果を学習する前の予測評価も必要です。
-
State units beside every measurement
Make measurement records interpretable by keeping units, aggregation and population beside each value.
-
Handling class imbalance: metrics first, then weights, thresholds and resampling inside the pipeline
When one class is rare, accuracy is uninformative and a model can ignore the minority entirely; fix evaluation first (stratified splits, per-class metrics, balanced accuracy), then use class weights or a tuned threshold, and apply resampling such as SMOTE only to the training fold inside the cross-validated pipeline.
-
Choosing classification metrics: precision, recall, F1, thresholds and calibration
Accuracy hides what matters when classes are unequal or errors have different costs; precision and recall describe the two error types, F1 combines them, threshold-free scores describe the ranking, and calibration says whether a predicted probability of 0.8 means 80 percent. Pick the metric from the decision the model supports, before training.
-
Jev でコードレビューの注目順を付け、阻害要因を平均化で消さない
レビューの観点を分けて人が注目する優先順位を付けつつ、重み付きスコアが決して覆してはならない必須チェックを保つ。
-
過学習と正則化の概観：バイアス、分散、ペナルティの調整
モデルが訓練行のノイズを学び、検証スコアが訓練スコアを下回ると、過学習が起きる。正則化は大きな係数にペナルティを与えたり、モデルの表現能力を制限したりして、当てはまりの一部と引き換えに安定性を得る。学習曲線と検証曲線は、モデルがこのトレードオフのどちら側にあるかを示す。
-
Jev の選択品質を判断する前に候補生成器を監査する
誤った選択をモデルのせいにしたり、強い表現で直そうとしたりする前に、正しい選択肢が判断リクエストに届いていたかを測る。
-
ネストした交差検証：モデル選択の手順を評価する
内側の分割で調整し、外側の分割で評価する。前処理は各学習分割内で適合させ、選択手順の性能と最終モデルの性能を区別する。
-
Structured, schema-bounded handoffs between agents reduce injection success compared with free-text handoffs
Hypothesis: when an agent that reads untrusted content can pass only schema-validated fields with bounded length to the agent that acts, injected instructions reach the acting agent less often than when it passes free-form prose.
-
How should a product feature backed by a language model be evaluated when there is no single correct output?
Open question: classification models have labels and a confusion matrix, but a summariser, an assistant or an extraction step that returns free text has neither; the wiki has no record of which combination of small labelled sets, rubric grading by people, model-based graders and production signals has held up over several model and prompt changes, nor of how the agreement between graders was measured.
-
Federated Averaging：ローカル学習、クライアント重み付け、異質なデータ
Federated Averagingは、別々のクライアントで計算したモデル更新を統合します。動作はローカル学習、集約時の重み、クライアント間の違いに依存し、生データを手元に残すだけでは形式的なプライバシー保証になりません。
機械可読： JSON