主题： machine-learning
-
SHAP 归因：参考值、输出单位与因果限制
相对于明确的参考解释单次预测，注意输出尺度，并避免把预测贡献解释成干预效应。
-
早停：耐心值、验证与最佳权重恢复
将停止轮次视为模型选择，监控独立验证信号，并区分最后训练得到的权重和表现最佳时的权重。
-
在训练第一个模型之前建立基线
在运行任何学习算法之前，记录简单预测器、简单规则和当前流程在相同数据划分、相同指标下的表现；此后的每个模型都报告其相对基线的差值，未能胜过规则的模型不予部署。
-
特征缩放与类别编码：变换什么，以及只在训练数据上拟合
基于距离和梯度的模型需要数值特征具有可比的尺度（StandardScaler、MinMaxScaler、RobustScaler）；类别列则根据类别数量和模型类型，通过独热编码、序数编码或目标编码转换为数值。每个变换器都在训练划分上拟合，再原样应用于验证、测试和生产数据行。
-
机器学习实验的可复现性：随机种子、环境、数据与确定性的边界
重新运行实验并得到同一个数值，需要显式传入固定的随机状态、锁定库版本、明确数据集和划分，同时认识到 GPU 内核和库的新版本仍可能改变结果；该流程尽可能让运行可重复，并记录无法重复的部分。
-
训练集、验证集与测试集：各自用途及划分方法
模型在训练集上拟合，在验证集上或通过交叉验证选择模型和超参数，测试集则只在最终估计时使用一次。如何分配数据行——随机、分层、按组或按时间——决定了该估计能否说明生产环境中的表现。
-
Data leakage in machine learning: how information from the future or the test set gets into a model
Leakage means the model is built with information that will not be available at prediction time: preprocessing fitted on all rows, features derived from the target, rows of one entity on both sides of a split, or time-ordered data shuffled. It produces optimistic validation scores and a model that disappoints in production.
-
梯度累积：在保持正确归一化的同时扩大有效批次
累积微批次梯度可减少激活内存，但必须保持损失权重、优化器更新边界和梯度裁剪顺序；更大的有效批次并不总是等同于单个物理批次。
-
标签偏移：检测并修正类别比例变化
仅在明确的标签偏移假设下估计类别先验变化，检查可识别性，并区分先验估计与需要校准概率的后验修正。
-
池式主动学习：不让不确定性采样扭曲评估
选择有信息量的样本进行标注，保留独立且有代表性的评估数据，并在相同标注预算下与随机采样比较。
-
知识蒸馏：把教师模型的有效预测传递给学生模型
同时利用真实标签和教师概率分布训练学生，并明确温度、损失权重及独立评估方式。压缩收益取决于教师质量、学生容量和部署行为。
-
使用 partial_fit 进行增量学习：稳定特征、类别列表与可靠评估
增量估计器通过小批量数据更新模型，无须将完整数据集载入内存。可靠的流程还需要保持特征含义、定义完整类别集合，并在利用结果学习之前评估预测。
-
基于直方图的梯度提升：分箱、缺失值与类别限制
说明直方图提升如何减少分裂搜索、处理缺失和类别输入，以及如何权衡数值分辨率与训练成本。
-
LoRA：低秩适配及其内存节省的真实范围
LoRA 冻结基础权重，学习低秩更新。它减少可训练参数及其优化器状态，但基础模型、激活和部署兼容性仍然需要考虑。
-
Handling class imbalance: metrics first, then weights, thresholds and resampling inside the pipeline
When one class is rare, accuracy is uninformative and a model can ignore the minority entirely; fix evaluation first (stratified splits, per-class metrics, balanced accuracy), then use class weights or a tuned threshold, and apply resampling such as SMOTE only to the training fold inside the cross-validated pipeline.
-
分割保形预测：具有边际覆盖率的区间
使用留出的残差、有限样本修正分位数和明确的可交换性假设，将固定回归模型扩展为预测区间生成流程。
-
Choosing classification metrics: precision, recall, F1, thresholds and calibration
Accuracy hides what matters when classes are unequal or errors have different costs; precision and recall describe the two error types, F1 combines them, threshold-free scores describe the ranking, and calibration says whether a predicted probability of 0.8 means 80 percent. Pick the metric from the decision the model supports, before training.
-
混合精度训练：自动类型转换、损失缩放与数值限制
混合精度为不同操作分配合适的浮点格式。自动类型转换和损失缩放解决不同问题；要确认性能收益，必须检查数值行为并在目标硬件上测量。
-
将嵌入视为数据类型：固定长度向量、距离函数及向量列的要求
嵌入是由特定模型生成的固定长度浮点向量，只有在使用该模型训练所针对的距离度量、并与同一模型版本的向量放在一起时才有意义。存储时必须记录维度、模型标识符和距离度量；查询则意味着精确或近似的最近邻搜索。
-
对比式自监督学习：样本对、数据增强与表示坍塌
通过比较相关视图与对比视图学习表示，选择保留有用信息的变换，并在训练损失之外评估表示质量。
机器可读： JSON