核心

• 信息量
• 熵（Entropy）
• 联合熵
• 条件熵
• 互信息
• 交叉熵（Cross-Entropy）
• KL散度（Kullback-Leibler Divergence）

大模型应用

损失函数

• 交叉熵损失是衡量预测分布与真实分布之间差异的度量。

注意力机制

• 计算注意力权重时，softmax 操作与概率分布和熵的关联。

强化学习

• 策略梯度的优化目标中可能包含熵正则项，以鼓励探索。
• TRPO / PPO 算法的核心是 KL 散度约束。

模型压缩与量化

• 量化信息损失的评估。

---

贡献者

• Mira190

---