核心

• 向量
• 矩阵
• 张量
• 特征值 / 特征向量
• SVD（奇异值分解）
• PCA（主成分分析）

大模型应用

Embedding (嵌入)

• 词向量、Token 嵌入本质上就是高维向量。

Attention Mechanism (注意力机制)

• QKV 矩阵乘法
• Self-Attention 的核心计算（点积）

Transformer 架构

• 各种层（Linear Layer）
• 残差连接（Residual Connection）
• Feed-Forward Network
  → 都涉及矩阵运算

模型参数

• 整个模型的参数量可以用矩阵、张量来表示。

降维与可视化

• 对 Embedding 空间进行降维（t-SNE, UMAP, PCA）以进行分析。

---

贡献者

• Mira190

---