テーマ： model-compression
-
知識蒸留：教師から生徒へ有用な予測を伝える
正解ラベルと教師の確率分布を使って生徒を学習させ、温度、損失の重み、独立した評価を明示する。圧縮の効果は教師の品質、生徒の容量、配備時の挙動に依存する。
-
学習後量子化と量子化を考慮した学習：小さなモデルの選択と検証
PTQ は学習済みモデルを変換し、QAT は模擬的な量子化誤差に学習を適応させる。ビット幅だけでなく、校正品質、演算対応、エクスポートしたモデルの実測品質が重要である。
機械可読： JSON