テーマ： training
-
勾配累積：正しい正規化を保ちながら実効バッチを大きくする
マイクロバッチの勾配を累積すると活性化のメモリを減らせる。ただし損失の重み付け、更新の区切り、クリッピングの順序を保つ必要があり、大きな実効バッチが単一の物理バッチと常に等価になるわけではない。
-
知識蒸留：教師から生徒へ有用な予測を伝える
正解ラベルと教師の確率分布を使って生徒を学習させ、温度、損失の重み、独立した評価を明示する。圧縮の効果は教師の品質、生徒の容量、配備時の挙動に依存する。
-
混合精度学習：autocast、損失スケーリング、数値上の限界
混合精度は各演算に適した浮動小数点形式を割り当てる。autocast と損失スケーリングは別の問題を扱うため、性能向上には数値の確認と対象ハードウェアでの測定が必要になる。
機械可読： JSON