批归一化：用批统计稳定通道尺度

BatchNorm 的一次前向变换以一组批激活 x 为输入，输出形状不变的 y。它要解决的不是“把每个样本单独变得标准”，而是训练过程中同一通道的激活尺度不断变化，使优化器难以长期采用稳定步长的问题。对当前统计集合 B，BatchNorm 先估计该通道的均值与方差，再把每个激活换算成相对于这组数据的标准化位置，最后施加可学习的尺度与偏移。

设 B 中有 m 个参与统计的激活，批均值和批方差为：

μ_B = (1/m)Σᵢxᵢ

σ²_B = (1/m)Σᵢ(xᵢ − μ_B)²

其中，xᵢ 是第 i 个输入激活。先计算 μ_B，得到当前集合的中心；再计算每个激活与中心的偏差并平方取平均，得到 σ²_B。随后对每个激活执行：

yᵢ = γ(xᵢ − μ_B)/$\sqrt{\text{σ²\_B + ε}}$ + β

分子 xᵢ − μ_B 表示该激活偏离当前批中心的方向和大小，分母 $\sqrt{\text{σ²\_B + ε}}$ 用当前批的尺度校正这一偏差。ε 用于限制方差很小时除法造成的过度放大。标准化结果再乘以每通道可学习参数 γ，并加上每通道可学习参数 β，使网络能够根据任务重新选择合适的输出尺度和中心。

因此，yᵢ 应解释为“xᵢ 相对于当前统计集合的位置，再经过通道仿射变换”，而不是该样本自身不受环境影响的绝对分数。同一个激活出现在不同训练批次中时，周围成员改变会导致 μ_B 和 σ²_B 改变，其输出也会随之改变。一个元素不仅直接决定自己的分子，还会参与均值和方差的计算，从而间接影响集合内所有元素的输出。

“均值为 0、方差为 1”只针对 γ、β 之前的标准化值，而且有限的 ε 与有限的 batch 会使实际统计略有偏差。经过 γ、β 后，输出 y 的均值和方差不再需要保持为 0 和 1。当 batch 很小、成员高度相关或集合分布异常时，μ_B 和 σ²_B 对目标分布的代表性会下降，此时把输出视为稳定的相对标准分数也就不再可靠。

卷积 BatchNorm 的统计单位是“通道”，不是整个张量。对于形状为 [N,C,H,W] 的输入，先固定某个通道 c，再收集这个通道在批次轴 N、高度轴 H 和宽度轴 W 上的全部激活，共 N×H×W 个值。由这些值计算该通道自己的均值 μ_c 和方差 σ²_c，通道之间不互相混合。这样可以保留不同通道各自的语义和尺度，而不会用一个全局均值把它们压到同一统计体系中。

标准化之后，同一通道的所有位置共享一组可学习参数 γ_c、β_c。它们沿 N、H、W 广播，对该通道内的每个标准化激活执行相同的尺度调整和偏移。因此输出形状仍然是 [N,C,H,W]，输出中每个位置表示它相对于本通道当前统计分布的偏离，再经过该通道的仿射变换。

每个通道只需要一个 γ_c 和一个 β_c，所以可学习参数总数是 2C，而不是 2NCHW。与之对应，运行均值和运行方差也分别为每个通道保存一个值，各有 C 个。这里的数量关系来自“每通道独立统计、通道内共享参数”，而不是来自空间位置的多少。

不同输入类型遵循同一原则，但参与统计的轴由张量语义决定：

轴的选择不能只靠维度编号机械套用。例如数据布局改为 NHWC 后，通道位于最后一维，统计时仍应固定通道并跨批次与空间位置汇总，只是对应的轴编号发生了变化。全连接输入没有二维空间轴，一维卷积也只有长度轴 L，因此都不能照搬 [N,C,H,W] 的轴设置。判断统计轴的可靠方法，是先识别哪一维代表特征或通道，再对除此之外、属于当前统计集合的批次与空间轴进行汇总。

设同一通道当前只有两个激活值 [1,3]，并取仿射参数 γ = 2、β = 0.5。一次 BatchNorm 前向先用这两个值计算共同的批统计，再逐个标准化，最后用同一组 γ、β 调整通道尺度。为突出主要计算，这里忽略 ε。

批均值是：

μ_B = (1 + 3)/2 = 2

它给出了当前两个激活的中心。批方差按两个值到均值的平方距离取平均：

σ²_B = ((1 − 2)² + (3 − 2)²)/2 = (1 + 1)/2 = 1

因此标准差为 $\sqrt{\text{σ²\_B}}$ = 1。两个输入减去均值并除以标准差后得到：

x̂ = (x − 2)/1 = [−1,1]

此时 −1 和 1 表示两个激活分别位于当前批均值的两侧，且偏离大小相同。接着应用通道仿射变换：

y = γx̂ + β = 2x̂ + 0.5

对第一个标准化值，y₁ = 2×(−1) + 0.5 = −1.5；对第二个标准化值，y₂ = 2×1 + 0.5 = 2.5。最终输出为 [−1.5,2.5]。

标准化阶段得到的 [−1,1] 具有当前批上的零均值和单位方差，但仿射后的 [−1.5,2.5] 不再需要满足这一性质。γ = 2 把标准化尺度放大两倍，β = 0.5 再整体平移，使网络能够在标准化之后重新选择适合该通道的线性尺度。如果任务需要接近恒等的变换，网络也可以学习与当前统计相匹配的 γ、β；不过 γ、β 只能调整标准化结果，不能消除均值和方差由当前 batch 成员共同估计所带来的依赖。

BatchNorm 在训练和推理时遵循两条不同的数据路径。两条路径使用相同的输入、输出形状和通道仿射参数，但归一化所读取的统计量不同：训练路径使用当前批的 μ_B、σ²_B，并同时更新运行均值 μ_run 和运行方差 σ²_run；推理路径不再根据当前请求重新估计统计量，而是使用已经冻结的 μ_run、σ²_run。

训练时，当前批既是待变换的数据，也是统计量的来源。输入一个 batch 后，BatchNorm 先计算这个批次各通道的 μ_B 和 σ²_B，据此产生训练输出；与此同时，它把当前批统计纳入运行状态，为未来推理积累可复用的尺度信息。运行统计不用于决定这一次训练输出，它承担的是跨训练步骤保存状态、供推理路径读取的职责。

推理时，输入可能是一张图片，也可能是任意方式拼成的请求批。此时每个激活都按冻结的 μ_run、σ²_run 归一化，而不读取当前请求中其他样本的值。这个切换使同一图片的输出不再取决于线上恰好与哪些图片一起处理，避免请求拼批方式成为模型结果的一部分。单张图片推理也因此不需要依靠这个样本自身估计均值和方差。

如果推理仍处于训练模式，同一图片换一组邻居后，当前批统计随之改变，输出也会改变；当 batch = 1 且空间维度也很小时，可用于统计的激活很少，方差甚至可能接近零。这不仅造成数值尺度异常，也让线上结果受请求组成影响。一个直接的诊断方法是：在 eval 模式下固定同一图片，只改变同批的邻居，输出应保持不变；若输出变化，说明实现仍在读取当前批统计，或者训练、推理模式没有正确切换。

双路径协议依赖训练阶段正确维护状态。如果运行均值和运行方差没有得到更新，或训练完成后没有随模型正确保存，那么即使推理时切换到了 eval 模式，读取到的统计状态也不能代表训练期间积累的尺度，性能可能突然劣化。因此，训练输出、运行状态更新和推理状态读取是同一机制中彼此衔接的三个环节。

运行均值和运行方差是 BatchNorm 随模型保存的状态，用来把训练期间逐批观察到的统计量压缩成部署时可读取的长期参照。部署请求通常不能保证拥有足够大且具有代表性的批次，因此推理不能临时依赖请求数据估计稳定统计；训练阶段积累的运行状态填补了这一缺口。

运行均值可按指数移动平均更新：

μ_run ← (1 − α)μ_run + αμ_B

μ_run 是更新前保存的运行均值，μ_B 是当前批均值，α 决定当前批对新状态的贡献。每次训练前向都会把旧状态与本批观测按权重合并，再将结果写回 μ_run。推理时读取这个状态，对激活进行居中。运行方差承担对应的尺度参照作用，但具体估计约定需要以实现为准。

例如，旧运行均值为 10，当前批均值为 14，α = 0.1，则：

新 μ_run = 0.9×10 + 0.1×14 = 10.4

新状态只向当前批移动了 0.4，而没有直接替换成 14。这种递推能平滑单批波动，但它并不保证得到无条件准确的总体均值。指数权重使近期批次影响更大，因此当数值偏向近期数据时，准确含义是状态更相信最近观察到的分布。

如果连续批次来自不同类别，或采用不同强度的数据增强，运行统计会随批次顺序向最近分布偏移。训练时间过短时，状态可能还没有积累充分；训练最后阶段的数据异常可能把最终状态拉向异常分布；微调时若错误冻结或错误更新状态，也会让保存下来的统计量无法代表部署数据。由于推理直接消费这些值，问题会表现为模型状态失配，而不只是少了一段训练日志。

不同框架对 momentum 的命名可能采用相反视角：有的用它表示当前批系数 α，有的用它表示旧状态系数 1 − α。同一个配置数字放到不同约定下，会产生完全不同的更新速度。迁移配置时必须核对实际更新公式，并同时对齐运行方差的估计方式，不能只复制 momentum 的数值或假设均值与方差的实现约定完全一致。

BatchNorm 保持激活张量的形状不变，却改变了后续层看到这些激活的参数化方式。它用当前统计削弱通道绝对尺度的影响，再通过可学习的 γ、β 保留重新选择尺度与偏移的能力。结果是后续层通常面对更可控的数值范围，而不必持续适应前层激活尺度的大幅变化。

这种尺度重参数化直接作用于优化难度。若不同通道或不同训练阶段的激活尺度差异很大，同样大小的参数更新可能在某些方向几乎不起作用，在另一些方向却导致损失剧烈变化，形成尺度敏感的陡峭区域，也让学习率难以选择。标准化把当前激活换算到相对尺度后，绝对幅度对后续计算的支配减弱；γ、β 又允许模型恢复任务所需的表达范围。于是，参数的小幅扰动往往对应更平滑的损失与梯度变化，优化器更容易找到有效且稳定的更新步长。

原论文强调 BatchNorm 能稳定层输入分布，并以“减少内部协变量偏移”解释训练收益。但“层输入分布不再变化”并不是 BatchNorm 对输出作出的保证，也不足以单独解释全部效果。后续认识强调了损失与梯度对参数扰动更平滑，以及尺度重参数化使较大学习率更可用等机制。它们描述的是优化过程如何因数值尺度改变而受益，而不是声称中间激活在训练中保持静止。

实践中应观察可检验的优化结果：训练是否更快、较大学习率是否变得可用、不同初始化下的训练是否更稳定。较稳妥的经验结论是，在许多卷积网络和合适的 batch 条件下，BatchNorm 能改善优化条件、加快训练并降低初始化敏感性。

这些收益不是对所有模型的定理。网络架构、优化器、数据增强方式以及 batch 的构成都会改变统计质量和优化效果。现代无 BatchNorm 架构也可以借助合适初始化、残差缩放或其他归一化方法稳定训练。因此，BatchNorm 应被理解为一种常常有效的尺度控制和重参数化机制，其价值需要结合具体训练条件验证。

训练时，一个固定样本的 BatchNorm 输出不仅由它自身的激活决定，还由同一统计集合中的批邻居决定。把该样本分别放入不同训练批时，样本自身输入没有变化，但批均值 μ_B 和批方差 σ²_B 会随邻居组成改变，因此标准化后的表示也会轻微波动。这种由有限批统计引入的随机扰动称为批噪声。

批噪声不是算子在相同条件下产生了不可解释的不确定结果，而是训练数据组合变化经过统计量传导到输出的确定性后果。因果链可以写成：批邻居变化 → μ_B、σ²_B 变化 → 固定样本的标准化尺度变化 → 该样本的中间表示发生轻微扰动。只要每次统计集合有限，这种依赖就会存在。

适度扰动可能形成隐式正则。由于同一个样本在不同批次中的精确激活尺度略有变化，网络较难只依赖某个固定数值完成预测，而需要学习对这些统计扰动更稳健的表示。训练中观察到适度的表示波动，可以据此理解为 BatchNorm 数据路径带来的训练扰动。

减小 batch 通常会让均值和方差的估计更易随成员变化，从而增强批噪声，但噪声更强不等于泛化必然更好。当统计失真超过当前优化过程能够承受的范围时，扰动不再只是温和的正则信号，而会先表现为损失震荡、训练不稳定和精度下降。因此，批噪声的作用取决于扰动强度与统计质量之间的平衡。

增大 batch 的影响也不止提高计算吞吐。更大的统计集合可能减弱 BatchNorm 噪声，并改变优化过程。比较大 batch 与小 batch 的实验结果时，需要分别考虑学习率、训练步数、统计质量和隐式正则这四项变化；若它们同时改变，就不能把最终差异只归因于 batch 大小或 BatchNorm 噪声。

判断 BatchNorm 统计是否可靠，不能只看批维 N，而要看每个通道中真正为均值和方差提供近似独立信息的元素数量。对于卷积张量，一个通道表面上会汇总 N×H×W 个值，但这个乘积只是参与计算的元素总数，不等于有效独立信息量。统计是否稳定还取决于这些值之间的相关性。

空间位置可以补充统计样本，因此在早期高分辨率层中，即使 N 较小，每个通道仍可能拥有足够多的有效信息，批统计保持稳定。随着网络加深，特征图的 H、W 缩小，可参与统计的位置减少；如果不同空间位置又高度相关，实际有效独立数量会进一步低于表面上的 N×H×W。于是，即使批维 N 完全相同，深层的均值和方差估计也可能比浅层更噪。

小 batch 真正失效的判据因此不是某个孤立的 N，而是本层每通道统计的代表性已经不足，导致归一化尺度大幅波动或系统性偏离。这个判断可以用来决定是否跨设备同步统计、冻结已有 BatchNorm、改用其他归一化结构，或增大每卡 batch。

不同方案改变的不只是样本数，还可能改变模型的归纳偏好。这里的归纳偏好是指归一化结构预先规定模型更容易利用哪类数据规律。BatchNorm 假设同一通道可以跨样本与空间位置共享统计；GroupNorm 则不依赖同批其他样本，而是在每个样本内部，把一组通道与空间位置合并起来计算统计量。由于统计轴不同，同一个激活在两种方法下会使用不同的均值和尺度。直接把已有 BatchNorm 替换为 GroupNorm 时，原卷积权重和 γ、β 并不能保证复现原函数，通常需要重新训练或微调。

选择方案时，应针对具体层的有效统计量和数据相关性，而不是仅凭全局 batch 数字判断 BatchNorm 是否可用。

分布式训练中的“batch size”至少要区分三种口径：一次参数更新累计的梯度样本总量、每张设备单次前向的微批大小，以及 BatchNorm 在一次前向中实际用于估计均值和方差的统计批。它们可能数值不同，也作用在训练流程的不同阶段。

设训练使用 8 张卡，每卡微批为 16，并进行 2 步梯度累积。一次优化器更新最终汇集的样本总量是：

8×16×2 = 256

因此从优化器角度看，全局优化 batch 是 256。但普通 BatchNorm 在每一次前向时就必须立刻计算统计量并输出激活。它只能看到本卡当前微批中的 16 张图及其空间位置，所以它的统计批对应 16 张图，而不是 256 张图。

原因在于聚合发生的时间不同。普通分布式训练通常在反向阶段跨设备同步梯度，梯度累积又在多个前向—反向步骤之间沿时间相加；而 BatchNorm 的归一化早已在每次前向中完成。后续的梯度同步或时间累积无法追溯并改写已经用于生成激活的 μ_B 和 σ²_B。因此，“优化器看到 256 张图”不能推出“BatchNorm 也用 256 张图统计”。

若使用 SyncBatchNorm，当前前向步骤中各设备会跨卡汇总本层统计。上述配置下，同一步的统计集合可覆盖：

8×16 = 128 张图

但两个梯度累积步骤发生在不同时间，SyncBatchNorm 通常仍不会把它们合并为一个统计批，因此 BatchNorm 看到的是 128 张而不是 256 张。

复现实验时，必须分别记录全局优化 batch、每卡微批、设备数、是否启用统计同步，以及各层相关的空间尺寸。只写“batch size = 256”只能描述其中一个口径，无法还原 BatchNorm 在前向时实际使用了哪些数据，也就无法准确重现实验中的归一化行为。

BatchNorm 的运行均值和运行方差记录的是训练源域中各通道激活的中心与尺度。模型从训练照片迁移到医学影像、新相机、新机构或不同预处理流程后，即使网络权重本身没有立刻失去表达能力，输入经过前层产生的激活分布也可能已经改变。eval 模式仍用源域冻结的 μ_run、σ²_run 对目标域激活进行居中和缩放，由此形成统计失配。

例如，亮度、对比度或传感器特性的变化可能让许多通道的激活整体偏离原来的 μ_run。若目标域激活中心发生平移，减去旧均值后会留下系统性偏差；若目标域尺度改变，除以旧方差对应的尺度后，表示可能被过度放大或压缩。这些偏差会逐层传递到后续表示，使 eval 模式输出整体漂移。因此，域迁移中的故障点可能先出现在 BatchNorm 状态与目标域不匹配，而不是最终分类器或全部权重同时失效。

BN 前激活相对于运行统计的标准化偏差可以作为直接证据。对某通道，可观察目标域激活与 μ_run 的距离相对于运行尺度有多大；若许多通道持续出现整体偏移，说明模型正在用源域参照解释目标域数据。这个信号比只看到最终预测变差更接近因果链的起点：输入域改变 → 中间激活分布改变 → 冻结运行统计失配 → 归一化后的表示被平移或缩放 → 后续预测退化。

若应用条件长期无法提供可靠 batch，还可以选择不依赖 batch 统计的架构。

线上监控不应只保留最终平均准确率。可以同时比较 BN 前激活相对运行均值的标准化偏差、预测置信度和不同数据切片上的指标。统计漂移往往在总体准确率明显下降之前就已出现；把中间统计信号与预测表现联合观察，能更早区分运行状态失配与其他类型的模型退化。

卷积—BatchNorm 融合利用了推理阶段统计量已经冻结这一条件。卷积先产生 z = Wx + b，推理态 BatchNorm 再用固定的 γ、β、μ_run、σ²_run 和 ε 对 z 做每通道仿射变换。由于整个 BN 变换不再依赖当前输入批，它可以与前一层卷积的线性参数合并，得到新的 W′、b′，从而省去独立的 BN 算子。

固定统计下，BN 对卷积输出的计算为：

y = γ(z − μ_run)/$\sqrt{\text{σ²\_run + ε}}$ + β

代入 z = Wx + b：

y = γ(Wx + b − μ_run)/$\sqrt{\text{σ²\_run + ε}}$ + β

把与 x 相乘的部分和常数部分分别合并，可得：

W′ = γW/$\sqrt{\text{σ²\_run + ε}}$

b′ = γ(b − μ_run)/$\sqrt{\text{σ²\_run + ε}}$ + β

于是 y = W′x + b′。其中，γ、β、μ_run、σ²_run 都按输出通道作用：缩放因子 γ/$\sqrt{\text{σ²\_run + ε}}$ 乘到对应通道的卷积权重上；卷积偏置 b 先减去运行均值，再按相同因子缩放，最后加上 β。若原卷积没有显式偏置，融合计算仍需按零偏置处理并生成融合后的 b′。

融合前后的等价性只在 eval 状态、运行统计与 ε 完全匹配时成立。此时，对相同输入逐层比较，融合卷积的输出应与原卷积后接 BatchNorm 的输出一致，只允许实现中的可接受浮点舍入差异。仅比较最终预测类别并不足以验收：即使中间数值已经偏离，最终类别也可能碰巧相同，掩盖参数或广播错误。

融合后省去了独立归一化算子，但新的 W′、b′ 已把冻结统计固化进卷积参数，因此不能把它当作原训练结构继续训练。遗漏卷积偏置、沿错误轴应用通道缩放、采用不同 ε，或融合时读取了不匹配的运行统计，都会破坏等价。进入量化流程后，通道权重尺度发生了重分配，还需要重新检查量化尺度与校准结果，不能仅凭浮点融合公式假设量化模型仍然等价。

BatchNorm 的验收对象不是一个只要形状正确就算通过的张量算子，而是一套由数值变换、训练与推理模式切换、持久运行状态共同组成的协议。测试输入应覆盖可手算激活、不同批邻居、保存前后的模型状态、多卡训练配置和部署域切片；输出则不能只看最终任务指标，还要同时记录逐层数值误差和状态一致性。这样才能发现“输出形状正确，但统计轴、模式或状态错误”的实现。

验证应先从最小可计算情形开始。对同一通道输入 [1,3]，令 γ = 2、β = 0.5，并按约定忽略 ε，正确输出应为 [−1.5,2.5]。这个例子可以锁定均值、方差、标准化和仿射变换的基本公式。随后检查统计轴：对每个通道分别计算均值、方差和输出，并与参考实现逐项比较，避免错误地跨通道汇总或沿错误维度广播。

模式切换要通过批邻居实验验证。固定一个样本，在 train 模式下更换同批邻居时，当前批统计改变，输出可能随之变化；切换到 eval 模式后，同一样本的输出必须不受邻居影响。任何 eval 邻居依赖都说明推理路径仍读取当前批统计或模式切换没有生效，应视为阻断性故障。

运行状态需要作为模型的一部分审计。模型保存并重新加载后，运行均值、运行方差和批计数应完全一致。只比较权重或最终预测不足以证明序列化正确，因为状态差异可能在特定数据分布下才显现。加载后只要这些值发生非预期变化，就说明推理所依赖的统计参照已经被改变，同样属于阻断性问题。

统计质量应按层观察，而不能只登记一个全局 batch 数字。可以逐层记录表面参与统计的 N×H×W、统计噪声和任务指标，判断特征图缩小或相关性增强后哪些层开始不稳定。在多卡环境中，还应分别运行单卡、普通多卡和 SyncBatchNorm 路径，明确每种配置实际使用的统计口径，避免把梯度聚合规模误当成 BatchNorm 的统计规模。

部署优化需要单独验证卷积—BN 融合。使用多批输入比较融合前后的逐层最大误差，并同时检查最终任务指标；逐层结果应只存在允许的浮点舍入差异。最终类别一致不能替代逐层等价，因为中间偏差可能尚未改变当前测试样本的类别，却已破坏函数等价性。

域稳定性则要通过有意义的数据切片观察。针对新设备、不同增强、季节变化或不同机构，分别检查中间统计漂移和任务表现，而不是只汇总成一个平均指标。完整的验收顺序由最小公式与统计轴开始，依次覆盖 train/eval、多卡统计、状态序列化、融合等价和部署域切片，使每一类故障都能定位到对应的数据路径或模型状态。

BatchNorm 与其他主题的联系可以从“统计依赖、张量语义、网络结构、训练噪声和分布式执行”五条方向展开。每条方向都改变或解释了 BatchNorm 机制中的一个关键条件，其中归一化分母 $\sqrt{\text{σ\_B² + ε}}$ 的统计来源与使用方式贯穿这些联系。

单样本统计方向可延伸到 LayerNorm 与 RMSNorm。关注点是取消同批其他样本参与统计后，归一化保留了哪些尺度控制能力，又失去了哪些跨样本、跨空间共享统计的性质。这个对照有助于理解“是否依赖 batch”不是实现细节，而是归一化结构对信息汇总方式的选择。

视觉主干方向需要连接卷积神经网络。卷积激活中的通道轴与空间轴来自网络对特征和位置的组织方式，BatchNorm 才能据此固定通道、跨批次与空间位置统计。理解卷积张量的语义，是从形状正确推出统计轴正确的前提。

深层捷径方向可继续学习残差连接。BatchNorm 放在残差块中的不同位置，会改变主分支与捷径分支在相加前后的数值路径，进而影响训练行为。这里需要把归一化视为残差块计算顺序的一部分，而不是可随意移动但功能不变的独立层。

噪声与泛化方向对应正则化。BatchNorm 的批噪声来自有限批统计随成员变化，显式正则则由训练配置直接施加。分析二者时，应关注它们如何共同改变训练扰动与泛化，而不能把所有正则效果都归到 BatchNorm 或某一个显式项上。

多卡口径方向连接分布式训练。关键区分是梯度同步与统计同步发生在不同阶段：前者聚合反向更新，后者决定当前前向使用哪些激活计算均值和方差。只有把设备数、每卡微批、梯度累积和统计同步分别展开，才能准确解释分布式环境中的 BatchNorm 行为。

掌握这些依赖后，应能从张量形状和语义确定统计轴，计算训练态的标准化与仿射输出，描述批统计如何更新为运行状态以及推理如何读取该状态，并能通过批邻居依赖、状态保存与加载、多卡统计口径和融合前后逐层等价性定位部署漂移。