Involution Hell
AI 知识库Ai math basics

微积分与优化 (Calculus & Optimization)

核心

  • 导数
  • 偏导数
  • 梯度
  • 链式法则
  • 泰勒展开
  • 拉格朗日乘子法
  • 凸优化

大模型应用

反向传播 (Backpropagation)

  • 梯度计算和链式法则的完美体现。

模型训练

  • 最小化损失函数(优化问题)的核心,各种优化器(SGD、Adam、RMSProp)都是梯度下降的变体。

激活函数

  • 它们的导数特性对梯度传播至关重要。

模型收敛性分析

  • 涉及到微积分中的收敛性理论。

贡献者