归一化：控制表示尺度，稳定深层优化

深层网络的优化不仅取决于模型能表达什么函数，也取决于中间数值落在什么范围。即使两种参数化具有相同的函数表达能力，它们产生的激活尺度不同，优化难度也可能明显不同。

设某层接收激活向量 x。若 x 的整体幅度过大，传到后续线性层后会进一步放大，并可能使注意力 logits 过大，或把非线性单元推入饱和区，严重时还会发生数值溢出。若 x 的幅度过小，有效信号和梯度则可能在有限精度计算中被舍入掉，或相对于残差分支变得太弱而被淹没。问题不只在于某一次数值偏大或偏小，更在于不同样本、token 和网络层的尺度会随训练持续漂移。

这种尺度漂移会改变优化器实际面对的局部条件。损失曲面在当前位置可能有些方向很陡、有些方向很平；固定学习率给出的同一步长，在陡峭方向可能过大，在平坦方向又可能过小。当中间表示的尺度不断变化时，这种局部曲率差异也随之变化，优化器更难用一套稳定的步长推进训练。

归一化的输入是某个待处理的激活或表示，输出是尺度更受控的表示。它先通过确定的统计与缩放规则限制数值范围，再用可学习参数 γ 恢复任务所需的幅度；某些归一化形式还使用可学习参数 β 恢复所需的偏移。因果链是：激活尺度漂移 → 后续算子工作区与局部曲率不稳定 → 固定学习率难以兼顾各方向 → 归一化控制尺度 → γ 和 β 保留任务重新选择幅度与偏移的能力。

因此，归一化更准确地说是一种重参数化和条件改善手段。它让参数更新发生在数值更可控的坐标系中，但不保证每一层输出始终服从标准正态分布，也不能单独消除所有饱和、溢出或梯度问题。它解决的是表示尺度造成的优化条件问题，而不是对输出分布作永久的概率分布承诺。

LayerNorm 对每个 token 的隐藏向量单独做统计。给定一个 d 维向量 x，其中 xᵢ 是第 i 个坐标，先计算该向量所有坐标的均值：

μ = (1/d)Σxᵢ

这里 Σ 表示把 d 个坐标全部相加，μ 描述这个 token 的隐藏表示整体偏向多大的数值。接着计算方差：

σ² = (1/d)Σ(xᵢ − μ)²

每个坐标先减去均值，再平方并对全部 d 个坐标取平均。σ² 衡量各坐标围绕均值的离散程度。LayerNorm 随后把第 i 个坐标变换为：

LN(x)ᵢ = γᵢ(xᵢ − μ)/$\sqrt{\text{σ² + ε}}$ + βᵢ

减去 μ 完成中心化，使各坐标相对于当前 token 自身的平均水平来表达；除以 $\sqrt{\text{σ² + ε}}$ 按标准差缩放，使表示的离散尺度受到控制。ε 是一个小正数，用来避免方差很小时除法失控。最后，逐维可学习参数 γᵢ 调整第 i 维的幅度，βᵢ 调整第 i 维的偏移，因此归一化不会永久锁死模型可表达的尺度和中心位置。

μ 和 σ² 都由当前 token 的全部隐藏维计算，每一行 token 都独立得到自己的统计量。γᵢ 和 βᵢ 则不是每个 token 临时计算的量，而是跨样本共享、按隐藏维学习的参数。因而输入与输出仍是同样的 d 维向量，但每个输出坐标同时依赖输入向量的所有坐标。

方差公式使用分母 d，而不是统计学中无偏样本方差常见的 d − 1。这里并不是用一组样本估计未知总体方差，而是在定义一个确定性的向量变换，所以总体方差形式正是算法本身的一部分。

统计轴决定了变换的语义。对形状可理解为“token × hidden”的表示，LayerNorm 沿 hidden 维逐行统计；每个 token 只使用自己的隐藏坐标。若误沿 sequence 维计算，张量形状可能依然正确，程序也可能正常运行，但不同 token 会参与彼此的统计，执行的已不再是这里定义的 LayerNorm。

取输入向量 x = [1, 2, 3]，先忽略 ε，并令可学习缩放 γ = 1、偏移 β = 0。这样可以只观察中心化和标准差缩放本身。

第一步计算三个坐标的均值：

μ = (1 + 2 + 3)/3 = 2

第二步让每个坐标减去均值，得到离均差：

x − μ = [1 − 2, 2 − 2, 3 − 2] = [−1, 0, 1]

这一步把向量的中心移到 0，同时保留三个坐标之间的相对高低关系。第三步计算总体方差：

σ² = (1² + 0² + 1²)/3 = 2/3 ≈ 0.667

标准差是方差的平方根：

σ = $\sqrt{\text{2/3}}$ ≈ 0.816

最后用每个离均差除以标准差：

(x − μ)/σ = [−1, 0, 1]/0.816 ≈ [−1.225, 0, 1.225]

因此，在这些简化条件下，LayerNorm 把 [1, 2, 3] 变为约 [−1.225, 0, 1.225]。输出的均值为 0，三个坐标的均方约为 1；这正对应先消除整体偏移，再把离散尺度调到统一水平。

这个例子也揭示了变换保留与消除的内容。若给所有输入都加 10，向量变为 [11, 12, 13]，新均值也增加 10，中心化后仍得到 [−1, 0, 1]，所以归一化结果不变。若把输入乘以正数 5，离均差和标准差都会乘以 5，两者相除后结果也近似不变。这里的“近似”提醒我们，实际实现还包含 ε，它会使严格的尺度抵消在小方差区域发生变化。

γ = 1、β = 0 只是为了手算方便。实际 LayerNorm 在标准化之后，还会通过逐维仿射参数为不同隐藏维重新学习合适的尺度与偏移，因此得到受控数值尺度的同时，仍保留任务所需的逐维调整能力。

RMSNorm 不做中心化，而是直接控制原向量的均方根尺度。给定 d 维向量 x，其均方根为：

RMS(x) = $\sqrt{\text{(1/d)Σxᵢ² + ε}}$

其中 xᵢ 是第 i 个坐标，Σ 把所有坐标的平方相加，除以 d 得到均方，开平方后得到与原坐标同量级的整体尺度。ε 用于在尺度很小时保持数值稳定。第 i 维的输出是：

RMSNorm(x)ᵢ = γᵢxᵢ/RMS(x)

γᵢ 是按隐藏维学习的缩放参数。与 LayerNorm 相比，这个公式中没有 xᵢ − μ，也就是不会先减去向量均值；通常也只有 γ，而没有用于恢复偏移的 β。省去中心化意味着它只约束整体均方根，不强制输出均值为 0，因此原表示中的均值信息会保留下来。

以 x = [1, 2, 3] 为例，令 γ = 1 并忽略 ε。三个坐标的平方和为 1 + 4 + 9 = 14，所以：

RMS(x) = $\sqrt{\text{14/3}}$ ≈ 2.160

逐坐标除以这个尺度后，输出约为：

[1, 2, 3]/2.160 ≈ [0.463, 0.926, 1.389]

输出三个坐标的均方为 1，但均值不为 0。这正是 RMSNorm 与 LayerNorm 的核心差异：LayerNorm 控制的是中心化后的方差，RMSNorm 控制的是未经中心化的原向量均方根。

两者对整体正比例缩放都近似不敏感。若 x 乘以一个正数，分子和相应的尺度会一起增大，相除后大致抵消；实际是否严格抵消还会受到 ε 的影响。对整体平移则不同：LayerNorm 的中心化会消除所有坐标共同增加的偏移，而 RMSNorm 不减均值，平移会同时改变向量的均方根、方向和最终输出。

因此，RMSNorm 的输入和输出形状与原隐藏向量一致，但它保留的结构与 LayerNorm 不同。选择它意味着只需要控制原表示的整体能量尺度，同时接受共同偏移仍会影响结果；它并不提供输出零均值这一性质。

归一化方法的名称相似，但真正决定算法语义的是“统计量沿哪些轴计算”。统计轴决定一个输出位置会依赖哪些输入位置，也决定训练与推理时是否需要外部统计信息。

在卷积场景的 BatchNorm 中，通常针对每个通道，沿 batch 维和空间维共同计算统计量。同一通道的一个样本因此会依赖同批其他样本。训练时使用当前批次统计，推理时则常用训练期间积累的移动统计，所以两个阶段的规则不同。

LayerNorm 沿单个样本或单个 token 的隐藏维统计。一个 token 的均值和方差只由它自己的隐藏坐标决定，不依赖同批其他样本。训练和推理都可以用当前输入按相同规则计算。RMSNorm 的依赖范围与此类似，也是沿单个 token 的隐藏维计算，不过统计量是原向量的均方根。GroupNorm 则在单个样本内部，沿预先划分的通道组及相应空间位置统计，同样不依赖其他样本，训练和推理规则一致。

这些依赖差异解释了 LayerNorm 为什么适合变长序列和小 batch：不是因为它在所有任务上必然“效果更好”，而是每个 token 的统计不会随着同批样本的数量、长度或内容而改变。相反，只要统计轴包含 batch，一个样本的归一化结果就可能受到同批其他样本影响。

实现时不能仅凭“Norm”或张量形状合法就判断算法正确。若模型定义要求在多个维度上共同归一化，normalized_shape 必须精确覆盖这些维度；若只习惯性地选择最后一维，可能得到形状完全正确但依赖关系错误的计算。验证归一化实现时，应先明确输入张量各轴的语义，再确认统计轴、参数形状以及训练与推理规则是否与算法定义一致。

归一化通过消除某些整体变化来获得尺度稳定性，但这些被消除的变化也可能正是任务需要的信息。理解它的边界，关键在于区分“维度之间的相对模式”和“当前样本的绝对均值或幅度”。

忽略 ε 和仿射参数时，对任意正数 a，以及给所有维度共同增加的偏移 b·1，LayerNorm 满足：

LN(ax + b·1) = LN(x)

其中 1 表示各坐标都为 1 的向量。共同平移 b 会同时进入输入和均值，中心化时被抵消；正比例缩放 a 会同时放大离均差与标准差，相除后也被抵消。因此，LayerNorm 保留各维相对于本 token 均值的高低结构，却不再保留这个 token 原有的整体均值和正比例尺度。

在相同简化条件下，RMSNorm 对正比例缩放满足：

RMSNorm(ax) = RMSNorm(x)

分子和均方根同时乘以 a，因而比例抵消。但 RMSNorm 不减均值，所以若给所有坐标共同加上一个常数，向量方向和均方根都会改变，输出也会随之改变。它消除整体正比例幅度，却仍对共同平移敏感。

可学习的 γ 和 β 能在归一化之后，为每个通道设置跨样本共享的固定缩放和偏移。它们可以重新塑造各隐藏维的典型幅度与中心，却不能恢复已被当前样本统计完全消去的信息：如果两个输入只相差 LayerNorm 会消除的整体均值或尺度，它们进入仿射变换前已经得到相同结果，之后共享的 γ 和 β 无法再判断原输入是哪一个。

所以，尺度不敏感既是优化上的优势，也是一种信息选择。若任务中的绝对幅度本身代表置信度、能量或计数，直接归一化可能弱化或删除这种信号。此时必须确认架构中是否存在不经过该归一化的旁路来保存它；否则后续层无法仅凭归一化输出重建已经消失的样本级整体尺度或均值。

Pre-Norm 与 Post-Norm 使用相同的残差分支和归一化算子，但放置顺序不同，因此梯度穿过深层网络时走过的路径也不同。用 F 表示一个残差子层，Pre-Norm 可写成：

y = x + F(Norm(x))

归一化发生在残差子层之前。输入 x 有一条直接加到输出 y 的恒等路径；反向传播时，梯度可以沿这条主干跨过当前层，而不必先经过 Norm 的导数变换。F 分支仍然依赖归一化后的输入，但残差主干保留了更直接的梯度通道。

Post-Norm 则可写成：

y = Norm(x + F(x))

输入与残差分支先相加，结果再经过归一化。这样，每一层输出都必须穿过 Norm，反向梯度也更依赖 Norm 的雅可比。雅可比是由输出对输入各坐标的导数组成的矩阵，它描述一个局部扰动或梯度经过该变换时，会被怎样缩放、混合和旋转。网络越深，连续多层雅可比对梯度传播的共同影响就越重要。

这条因果链说明了为什么仅移动 Norm 的位置，也会显著改变训练难度：Pre-Norm 提供更直接的恒等残差路径，通常使深层 Transformer 更容易优化，并降低训练对学习率预热和初始化的敏感程度；Post-Norm 则让每次残差相加后的结果立即归一化，但深层梯度必须反复经过归一化变换。

这种差异不只是训练技巧。归一化位置还会影响最终表示的尺度以及网络如何利用深度，因此两种结构定义了不同的计算过程。一个已经训练完成的 Post-Norm 模型不能只把 Norm 移到残差分支前，就无损地变成 Pre-Norm；原参数是在原有梯度路径和表示尺度下学得的，移动位置会改变每层输入、输出与整体函数。

归一化需要除以表示的尺度。当一个向量几乎所有维度都相同时，方差会非常小，分母也随之接近 0。此时，原本只是舍入误差或微小扰动的差异，可能被除法放大成显著变化。

例如，若方差为 10⁻¹²，对应标准差只有 $\sqrt{\text{10⁻¹²}}$ = 10⁻⁶。直接除以这个数，相当于施加约一百万倍的增益。即使输入坐标间只存在极小的舍入噪声，归一化输出也可能剧烈波动。若公式在方差中加入 ε = 10⁻⁵，则分母约为：

$\sqrt{\text{10⁻¹² + 10⁻⁵}}$ ≈ $\sqrt{\text{10⁻⁵}}$ ≈ 0.00316

这时最大增益受到 ε 控制，不再由几乎为零的输入方差任意决定。因而 ε 不只是用于避免精确除零；它实质上规定了小方差区域的缩放上限和数值敏感度。

ε 的选择存在权衡。更大的 ε 会让分母下界更大，计算更稳定，但输出方差也会更明显地偏离理想的单位方差。方差远大于 ε 时，ε 的影响很小；方差与 ε 同量级或更小时，输出尺度主要由 ε 决定。

公式的具体位置同样重要。$\sqrt{\text{variance + ε}}$ 与 $\sqrt{\text{variance}}$ + ε 在小方差区域不是同一个变换：前者在开平方前把 ε 加到方差上，后者在得到标准差后再加 ε，产生的分母和增益上限不同。因此，在迁移权重、进行量化或替换归一化算子时，不能只核对层名。原公式形式、ε 的具体数值以及统计轴都必须匹配，否则在普通输入上看似接近的实现，可能在小方差输入处出现明显差异。

归一化实现最隐蔽的错误，往往不会破坏张量形状。对形状为 [B,S,H] 的表示，LayerNorm 和 RMSNorm 都应让每个 token 只沿自己的 H 维计算统计量；输出仍保持 [B,S,H]。若误把 S 或 B 纳入统计，程序可能照常运行，但一个 token 的结果会错误地依赖其他位置。

仿射参数也有明确语义。LayerNorm 的 γ 和 β、RMSNorm 的 γ 都按隐藏坐标学习，因此参数应与被归一化的特征维逐元素对应，再跨 batch 和 sequence 位置复用。同一个 γᵢ 应作用于所有 token 的第 i 个隐藏坐标，而不应随 token 改变，也不应误对齐到序列轴。

可以用依赖性实验识别统计轴错误：固定目标 token 的隐藏向量，只改变同一 batch 的其他样本或相邻 token。若目标 token 的 LayerNorm 或 RMSNorm 输出随之变化，说明实现混入了不该参与的输入位置。再给不同隐藏维设置彼此可区分的 γ 值，可以直接观察仿射参数是否沿 H 维正确广播。

因此，“没有 NaN”或“输出形状正确”都只是最低条件。实现是否等价，还取决于统计轴、公式中的 ε 位置以及 γ、β 的参数形状和广播方向；这些细节共同决定每个输出坐标依赖哪些输入与参数。

Transformer 中存在归一化层，并不意味着所有位置的数值都会自动稳定。Norm 只约束它实际接收和输出的表示；学习率、初始化、损失缩放、残差长期累积以及注意力 softmax 等其他链路仍可能失控。因此，loss spike 出现时，不能仅凭模型“有 Norm”就排除数值问题，也不能默认故障一定来自归一化层。

若观察到 Norm 的输入 RMS 随网络深度持续增大，而 Norm 输出仍受控，可能的链路是残差分支长期同向累积。每层归一化只能处理当前位置的输入，不能阻止残差主干在多层相加后不断积累幅度。此时应比较残差主干 RMS 与分支更新 RMS，判断每次更新相对于主干有多大，以及是否持续沿同一方向推高表示。

若 Norm 输出正常，但注意力阶段出现 NaN，故障更可能位于 QK logits、掩码或 softmax。应按注意力头记录 logits 最大值，并检查是否存在整行都被遮罩的情况。归一化后的输入有限，并不能保证后续点积、掩码处理和指数运算都处在安全范围。

若尖峰只在特定 batch 突然出现，应把数值轨迹与数据对应起来。异常序列长度、异常样本内容或损失缩放都可能触发问题；需要记录样本 ID、token 数和梯度范数，确认尖峰是在前向表示中开始，还是到损失与反向传播阶段才出现。

若训练后更换推理后端后质量下降，而不是直接产生 NaN，则应优先检查 ε、归一化轴、公式形式和融合算子是否与原实现一致。此类差异常会产生有限数值，却逐层累积为模型行为偏移。逐层比较两个后端的输出最大误差，可以定位偏差首次明显出现的位置。

可靠的诊断顺序是沿计算链逐段测量：数据 → 层输入 → Norm 输出 → 子层输出 → 残差和 → 损失。这样可以区分归一化前的尺度漂移、归一化实现差异、子层内部溢出、残差累积以及损失端异常，而不是把所有爆炸现象都归因于 Norm。

验收归一化实现时，首先要证明它计算的是预期公式，而不只是输出了形状正确的有限数值。最直接的起点是使用可手算的小向量 [1, 2, 3]：分别核对 LayerNorm 的均值、方差、标准差和最终输出，以及 RMSNorm 的均方根和最终输出。小例子能快速暴露是否错误地减了均值、遗漏了开平方、使用了错误分母或放错了 ε。

随后用变换不变性检查算法语义。把输入乘以正数，LayerNorm 与 RMSNorm 的输出应按各自定义表现出近似的尺度不敏感；给所有坐标共同加上常数时，LayerNorm 的中心化应消除这次平移，而 RMSNorm 的输出应发生变化。若观察结果与这些性质相反，即使普通随机输入上的误差很小，也说明实现的公式或统计轴可能有误。

退化和极端输入用于检查数值边界。全相同向量和零向量会让方差或均方根接近最小值，可以验证 ε 是否正确参与计算；极小方差输入能检验增益是否受控；极大值输入则能暴露平方、累加和倒数平方根中的溢出或精度问题。测试不能只判断是否出现 NaN，还应比较输出尺度与参考结果。

统计轴可以通过依赖性实验验证。固定一个 token 的隐藏向量，只改变同 batch 的其他样本或相邻 token；按隐藏维独立统计的 LayerNorm 输出不应随这些无关位置变化。如果结果改变，说明实现可能错误地沿 batch 或 sequence 维聚合。与此同时，应确认 γ 和 β 的广播方式：它们必须沿预期隐藏维逐元素作用，而不是意外跨 token、batch 或其他轴对齐。

最后与可信参考做前向和反向对比。在多种张量形状、序列长度和 ε 设置下比较输出与输入梯度，可以同时检查公式、统计轴和仿射广播。若使用融合算子或替代后端，还应从首个归一化层开始逐层比较误差，并检查最终指标：逐层误差用于定位偏差从哪里开始，最终指标用于确认局部差异是否已经改变模型行为。

深层网络中的表示会经过残差相加和子层变换，其尺度因此可能随网络层、样本和 token 持续变化。尺度漂移会把后续计算推向不同的数值区域，也会改变优化器面对的局部条件。归一化在这条链路中接收当前表示，沿模型指定的隐藏维计算当前 token 自己的统计量，再输出尺度更受控的表示。

LayerNorm 先减去均值，再按中心化后的标准差缩放，因此降低表示对各维共同平移和整体正比例缩放的敏感性。RMSNorm 不做中心化，只用原向量的均方根缩放，因此控制整体幅度，同时保留对共同平移的响应。两者都保留维度之间的相对模式，却会弱化某些绝对尺度信息。

标准化并不是计算的终点。逐特征的 γ 可以重新学习输出幅度，LayerNorm 等形式中的 β 还可以重新学习偏移。它们让模型在受控坐标系中继续选择每个特征的典型尺度和中心位置，但不能还原已经被当前样本统计完全消除的样本级均值或幅度。

Norm 放在残差分支之前还是之后，还会改变反向传播的路径。放在分支前时，残差主干具有更直接的恒等梯度通道；放在相加之后时，每层梯度都更依赖归一化变换的雅可比。因此，归一化的效果不仅由公式决定，也由它在残差结构中的位置决定。

数值稳定性又构成另一层条件。ε 为小方差输入设置分母下界，限制微小噪声被放大的程度；它在根号内还是根号外，也会改变小方差区的实际增益。统计轴、ε、公式形式和仿射广播都属于实现语义的一部分，而不只是可随意替换的细节。

即便 Norm 本身正确，注意力 logits、softmax、残差长期累积和损失计算仍可能独立失控。归一化只约束它所在位置，不能替代整条模型链路的稳定措施。因此，模型权重的实际契约包含归一化轴、精确公式、ε、仿射参数广播方式和残差位置；迁移或替换算子时，需要通过逐层前向与梯度等价测试守住这份契约。

继续理解归一化，可以沿统计轴、残差主干、整体架构、训练稳定性和低精度部署五条依赖关系展开。

批归一化展示了另一种统计轴选择。它把 batch 纳入统计范围，因此一个样本的输出会依赖同批其他样本；训练阶段使用批统计，推理阶段常改用移动统计。把它与沿单 token 隐藏维统计的 LayerNorm 对照，可以更清楚地理解统计轴为什么会改变依赖关系与训练、推理规则。

残差连接是理解 Pre-Norm 的直接前置概念。恒等路径让输入能够绕过残差分支传到输出，而 Norm 放在分支前后会决定这条路径是否还要经过归一化的雅可比。把残差结构与归一化位置结合起来，才能解释深层梯度为何会因 Pre-Norm 与 Post-Norm 的选择而不同。

Transformer 提供归一化发挥作用的整体架构背景。注意力层和前馈层都处在残差结构中，Norm 在这些子层周围的布置决定每个子层接收什么尺度的输入，以及残差相加后的表示是否立即归一化。理解单个 Norm 的公式之后，还需要沿完整网络追踪它与注意力、前馈层和残差主干之间的连接。

训练尖峰需要联系梯度裁剪。Norm 控制的是特定位置的表示尺度，不能直接保证参数更新始终受控；梯度裁剪则从异常更新的角度限制风险。将两者区分开，可以避免把表示稳定与更新稳定混为同一问题。

低精度部署还依赖量化概念。归一化涉及尺度估计、ε、公式形式和仿射参数，融合算子或量化后端必须保持这些计算语义等价。部署验收不能只看最终程序能否运行，而要确认尺度处理和融合前后的逐层结果仍与原实现一致。

掌握这些依赖后，应能够面对任意张量明确指出归一化轴，手算 LayerNorm 与 RMSNorm 的统计和输出，说明 Pre-Norm 中恒等残差路径如何传递梯度，并设计覆盖退化输入、统计轴、前后向比较和逐层对齐的实现验收方案。