模型家族：从信息流与训练目标理解能力边界

当人们说“这是一个 Transformer”时，得到的往往只是一个信息流骨架的名称，而不是对模型能力的描述。“模型家族”在这里不是品牌的集合，而是一套用于描述模型机制与交付方式的坐标系：输入是一个具体的模型版本或一项任务需求，输出是四项互相独立的说明——架构、训练目标、模态接口，以及后训练/产品层。

四个轴各自回答一个不同的问题。架构轴回答“信息怎样被读取、保存与混合”，对应编码器、因果解码器、扩散模型、状态空间模型（SSM）等骨架。训练目标轴回答“模型被奖励去预测什么”，对应掩码词预测、下一个 token 预测、去噪、对比学习等目标。模态/接口轴回答“输入输出是什么结构”，对应文本、图像、音频、动作乃至多模态组合。后训练/产品轴回答“在原始模型之外又叠加了什么”，对应指令对齐、检索增强（RAG）、工具调用、记忆机制与安全策略。

这四个轴互相独立，意味着任何一个轴上的标签都不能推出其余三个轴的内容。最容易出现的混淆是把“Transformer”“大语言模型”“聊天产品”当作同一层的东西。Transformer 只是信息流骨架；大语言模型除了这个骨架，还包含训练目标与数据；聊天产品又在模型之上叠加了后训练、检索、工具和权限。看到其中一个名称，不能自动推出另外两层的能力与边界。同一个 Transformer 骨架可以训练成分类编码器、文本生成器或视觉模型；同一个生成模型也可以被包装成完全不同的产品。

四轴坐标的价值在于解释“为什么擅长”：当某个模型在某类任务上表现突出，可以沿着这四个轴定位原因，而不是停留在家族标签上。但它同样划定了边界：家族标签本身不保证质量、隐私或安全。要判断一个具体模型是否满足需求，仍需要查看具体版本并实际测试，仅凭“它属于某个家族”的表述远远不够。

同样使用注意力机制，编码器、解码器与编码器—解码器三种家族适合的任务却截然不同。区分它们的关键不在“有没有注意力”，而在注意力可以看见什么、训练目标奖励什么，以及由此形成的计算路径。

编码器（Encoder-only）在每一层都能双向看到完整输入，即每个位置的表示可以同时吸收它前面和后面的所有 token。它的常见训练目标是掩码 token 预测：随机遮住输入中的一些词，让模型依据上下文重建它们。这种“读完整段再填空”的训练使编码器天然擅长分类、检索表示和抽取类任务——输入一段完整文本，输出对整段或局部位置的判断。因果解码器（Decoder-only）则只能看到当前位置之前的 token，后面的内容被遮蔽。它的训练目标是预测下一个 token：给定一段前缀，输出最可能接续的词。正因为每一步输出都只依赖已生成的前缀，解码器天然适合开放式生成、续写和上下文学习。编码器—解码器（Encoder–decoder）把两者组合起来：编码端双向读取完整输入，解码端按因果顺序逐步生成输出，输入侧的每个位置都能参考全文，输出侧每一步只依赖此前已生成的内容。这种信息流与条件序列生成目标吻合，天然适合翻译、摘要和结构化转换——输入与输出是两条不同的序列，输出必须尊重输入的全部含义。

“天然强项”并不意味着排他能力。三种架构在原理上都可以被强迫去做其他家族的任务，区别在于训练信号与计算路径是否贴合：当一个任务的自然形式恰好与某个家族的信息流一致时，模型学起来更直接，样本效率也更高。

条件生成的概率分解揭示了为什么信息流方向如此重要。给定输入 x 时输出序列 y 的概率写为

P(y | x) = ∏ₜ P(yₜ | x, y<ₜ)

其中 x 是条件输入，例如待翻译的原文；y 是完整的输出序列；t 是当前生成位置；y<ₜ 是位置 t 之前已经生成的 token。整个式子的含义是：整段输出的概率等于每一步条件概率的乘积。每一步生成 yₜ 时，模型看到的不是孤立信息，而是输入 x 加上此前生成的全部前缀 y<ₜ。因此早期生成的选择会改变后续每一步的条件——一旦前一个 token 定下来，后面的概率分布就被重新约束。这也解释了为何因果生成必须顺序进行：y<ₜ 只有在前面步骤完成后才存在。解码器家族的任务天然按这个链条展开；编码器家族则因为一次性给出完整输出，不需要这种逐步依赖。

图像生成为什么总从一团噪声开始，还要经过很多步才出图？这与扩散模型的学习方式有关：它不学“从左到右续写”，而学“把带噪样本向干净样本推回一步”。

训练分两个过程。前向过程逐步向干净数据加入噪声：从真实样本出发，一次次混入随机扰动，直到样本几乎变成纯噪声。模型的训练输入是某一时间步的带噪样本、该时间步编号以及可选的文本等条件，训练输出是模型对这个噪声的预测——可以是噪声本身、速度或干净样本，取决于具体参数化方式。生成时方向反过来：从纯噪声出发，反复使用训练得到的预测逐步恢复结构，每一步去掉一部分噪声，而不是逐像素从左到右续写。

核心公式给出了带噪样本的构造方式：

xₜ = $\sqrt{\text{ᾱₜ}}$ · x₀ + $\sqrt{\text{1 − ᾱₜ}}$ · ε

其中 x₀ 是干净样本，xₜ 是时间步 t 的带噪样本，ε 是加入的随机噪声。系数 ᾱₜ 控制还保留多少原信号：t 很小、接近开始加噪时，ᾱₜ 接近 1，xₜ 主要由真实样本 x₀ 构成；t 很大时 ᾱₜ 趋近 0，$\sqrt{\text{1 − ᾱₜ}}$ 趋近 1，xₜ 几乎只剩噪声。去噪网络记为 εθ，θ 是它的参数，c 是文本等条件。训练让网络学会根据 xₜ、t 和 c 预测实际加入的噪声 ε；生成阶段再按调度器从后往前逐步反推，每一步都用到当前带噪样本和网络对噪声的估计。

理解“高维”才能理解扩散为何是多步的。高维意味着一个样本需要由很多个数值坐标共同描述：图像潜变量包含大量空间位置与通道，每个坐标都带有噪声。因此去噪不是改动一个数字，而是要同时协调成千上万个坐标，让它们在保持一致结构的前提下整体变干净。一步到位几乎不可能，多步迭代让结构在每一步都被小幅修正，这正是传统采样需要很多步的原因。

扩散模型可以同时修正整幅潜变量，特别适合连续的高维信号，比如图像的像素或潜变量。但维度多并不自动代表信息更丰富：如果数据主要由离散规则构成，或者要求逐字精确——比如精确的文本、严格的逻辑运算，或者对实时延迟敏感的场景——连续去噪的优势未必适用，往往需要额外设计。扩散本身是一种生成机制，而不是图像专属：同样的逐步加噪—去噪框架也可以用于音频、视频、动作序列乃至离散序列。

注意力让每个位置都能直接看到所有其他位置，代价是两两比较的数量随长度平方增长。状态空间与递归家族选择了另一条路：不做所有位置的两两比较，而是把历史压缩进一个固定大小的状态，边扫描边更新，让计算量随长度线性增长。

最小信息流可以用两个公式描述：

hₜ = A · hₜ₋₁ + B · xₜ yₜ = C · hₜ

xₜ 是当前位置的输入；hₜ₋₁ 是此前全部历史压缩成的状态向量；矩阵 A 决定旧状态如何演化——哪些信息保留、哪些衰减；B 把当前输入写入状态；两者相加得到新状态 hₜ，它既是本步的输出依据，也会传给下一步继续更新；矩阵 C 再把状态读出为当前位置的输出 yₜ。所以整个过程只需要维护一个状态向量：每来一个新 token，用一次乘法和一次加法更新它，然后读出输出。历史没有被丢弃，而是被持续改写进同一个压缩表示里。

这个公式只是最小信息流骨架。实际的 RNN 或 SSM 会在此基础上加入非线性、门控机制或输入依赖的参数——门控决定这一步哪些信息值得写入、哪些旧信息应该遗忘，输入依赖的参数让状态更新随内容变化。但骨架不变：一条串行扫描的链，状态在其中逐步更新。

把复杂度算出来就更清楚。对长度为 n 的序列，注意力分数矩阵有 n² 个位置对：n = 1000 时约一百万对，n = 4000 时约一千六百万对——长度只增加四倍，两两比较的数量却增加十六倍。而递归或状态空间模型每步只更新固定大小的状态，扫描步数随 n 线性增长，长度增加四倍时步数也只增加约四倍。这就是“用压缩状态换线性扫描”的含义。

但压缩状态是有代价的：把全部历史塞进固定维度，必然会丢掉部分细节。当任务需要精确的随机访问——比如随时跳回开头查找某个词——或者需要原样复制早期的长片段时，压缩状态可能力不从心，此时完整的注意力或外部记忆更合适。因此现代系统常做混合设计：用状态空间层处理长距离的粗略扫描，用注意力层或外部检索处理需要精确定位的部分，而不是在两者之间二选一。实际速度也不只由渐近复杂度决定，还取决于硬件并行度、状态维度和具体内核实现。

给模型同时喂图像和文本，是否就等于它形成了统一理解？不一定。多模态融合的本质，是把图像、音频等模态的表示与文本表示放进能够相互影响的计算路径。输入是两种或更多模态，输出可以是共享表示、文本、图像或动作；判断一个多模态模型的关键不在于“接口能不能接收文件”，而在于哪一层开始允许跨模态信息交互。

常见的融合路线有三类。第一类是“冻结编码器 + 投影器”：视觉或音频编码器先把输入提取成向量，投影器再把这些向量转换成语言模型可读的 token，送进现成的文本模型。第二类是交叉注意力融合：不同模态各自编码，保留各自的专长表示，然后用交叉注意力让两个模态互相查询、互相影响。第三类是统一 token 空间：从一开始就把所有模态映射到同一个 token 空间或同一副骨架上训练。三者的取舍不同。冻结编码器加投影器的训练成本最低，能复用已经成熟的视觉和语言模型，但底层表征是在各自模态里单独学出来的，很难为了彼此共同适配。交叉注意力融合保留了每种模态的专业表示，代价是接口与训练流程更复杂。统一 token 或统一骨架让跨模态交互深入且接口统一，但需要大规模对齐数据和更强的计算投入。

融合位置与数据配对质量决定了一个多模态模型的实际水平。融合位置决定哪些层能进行跨模态交互：如果只在最顶层拼接，深层表征仍各自为政；如果从底层就共享参数，两种模态的表示在学习早期就被迫相互对齐。数据配对质量决定这些表示是否真正对齐：训练对里图像与文本描述之间的对应关系越准确，学到的共享空间越可靠。

对这类模型的测试也必须分开。模型能流畅地描述一张图片，只证明“图像进、文本出”的生成路径可用，并不自动证明它的 OCR 识别、空间关系判断、计数或细粒度定位都可靠。这些能力需要分别设计输入输出明确的测试逐一验证——能力边界只能逐项测量，不能从“会说图”整体推断。

设计一个退款助手时，直觉上容易先问“该用哪个品牌的大模型”，但正确顺序是先拆任务：分类工单、读小票、生成回复、执行退款，这些子任务的信息流、风险等级和成本结构完全不同，本来就不必由同一个模型包办。

决策图的起点是任务拆解，模型家族的选择发生在拆解之后。每个子任务带着自己的约束去寻找匹配的家族：约束包括输入输出形态、准确度要求、延迟预算、成本，以及失败后的影响范围。

先看路由。一个小的编码器模型可以把低成本路由做好：工单进来后判断意图、决定走哪条处理分支。编码器双向阅读完整输入、输出整段判断，与分类任务的信息流天然一致，而且体积小、延迟低、便宜，适合承接所有请求的第一道闸门。

再看读小票。只有带附件的请求才需要视觉模型，无附件的工单根本不用经过它。把视觉处理限定在真正需要它的子任务上，省下的不只是算力，还减少了出错面——视觉模型只在它被需要的地方被调用，其输出也只影响这一个分支。

生成回复是典型的开放式文本生成，交给解码器起草解释。退款状态的真正变化——从“待处理”变成“已退款”——则不经过生成模型。退款 API 负责真实状态变化，模型只产出需要人审核或发送的文字。高风险动作交给有权限边界的工具执行，而不是让生成模型“凭语言执行”：模型可以说“已为您退款”，但它没有权限也不应该有能力真的改动账务状态；能改变状态的只有那个 API 调用，其权限、审计日志和回滚机制都与模型无关。

这样组合出来的系统通常比“最大模型全包”更便宜、更可测、更可控。便宜是因为每个子任务只用恰好够用的模型；可测是因为每个环节有明确的输入输出，可以单独评测路由准确率、票据识别率和回复质量；可控是因为高风险动作被隔离在权限明确的工具层，模型出错时影响范围被限制在它负责的那一环。家族选择的因果链是：任务约束决定子任务拆分，子任务的信息流与风险决定匹配的家族，最后才是具体版本与价格。

排行榜第一的模型不一定是你的最佳选择，因为排行榜分数是在通用评测集上算出来的，而你的任务有自己的失败代价、硬约束和成本结构。正确的筛选顺序是：先定义任务，再筛硬约束，再在真实数据上比较，最后灰度验证。

第一步是定义任务单位与失败代价。同一个系统里，“一次处理”可能是每封邮件、每张小票，也可能是一次完整会话；一次误判的代价可能是漏掉一张十元的票据，也可能是错误执行一笔退款。单位和代价不同，同一组指标的含义就完全不同，这一步不定义清楚，后面的比较没有意义。

第二步是筛选硬约束。这些约束是“不满足就出局”的条件，不需要比较优劣：数据驻留（数据必须留在哪个区域）、许可（模型权重或 API 的授权范围）、模态（是否必须支持图像）、上下文长度、可用的硬件，以及最大延迟。先用这些条件把候选集砍小，才能避免在根本不可用的选项上浪费评测成本。

第三步是在真实的数据切片上评测剩下的候选家族与规模，而且评测要包含拒答与失败回退的行为——模型说“我无法处理”并转人工，通常比硬编一个答案更好，评测集必须覆盖这种情况。

第四步是画 Pareto 前沿，而不是把异质指标随意加成总分。一个教学算例可以说明这种比较方式：在票据字段抽取任务上，小编码器加 OCR 的字段 F1 为 0.94，P95 延迟 180 ms，每千件成本约 ¥2，适合标准票据；多模态生成器的 F1 为 0.96，延迟却到 1.8 s，每千件成本约 ¥28，适合复杂长尾票据；规则模板的 F1 只有 0.88，但延迟 25 ms、每千件约 ¥0.2，只覆盖固定版式。没有哪个选项在所有维度都赢：谁处在“不额外花钱就提不了质量、不牺牲质量就降不了成本”的前沿上，取决于你的延迟预算和失败代价。这些数字只是教学算例，不代表任何真实厂商的性能；真正重要的是用同一份数据、同一个成功定义去测量，否则指标之间不可比。

最后一步是灰度上线，并且记录模型版本、提示词、检索库和工具版本。模型行为由这四者共同决定，任何一项变更都可能改变结果；上线后若不做记录，出现问题时就无法定位是哪一层引起的。

“推理模型”“聊天模型”“工具模型”这些名字听起来像是不同的架构，但大多数情况下它们指的是同一种底层骨架经过不同后训练得到的产物。监督微调、偏好优化、强化学习和蒸馏可以显著改变模型的回答风格、指令遵循程度、推理时的计算量以及工具调用行为，然而底层可能仍属于同一个解码器家族。信息流与训练目标的骨架没变，变的是在骨架之上叠加的行为层。

产品层还能在模型之外继续叠加：系统提示词、检索增强（RAG）、输出过滤器、缓存和工作流。因此从产品行为反推模型机制时要特别小心。观察到产品能引用资料，不能直接推断基础模型“记住了数据库”——它很可能只是在运行时执行了检索，把查到的内容塞进了上下文。观察到产品会调用工具，也不能推断模型拥有权限：模型只负责生成调用请求，真正的权限在执行层，由系统决定这个请求能不能执行、作用在谁身上。语言层面的“可以调用”和执行层面的“有权限调用”是两回事。

这个区分直接决定排查错误的顺序。当系统出错时，先定位错误发生在哪一层：是基础生成本身就错了，还是后训练策略教偏了，还是上下文检索拿回了错误资料，还是工具参数填错了，还是执行权限配置有误。每一层对应的修复方式完全不同——基础生成问题可能要换模型或改提示，检索问题要改索引和查询，权限问题要改执行层的策略。先定位层级再选择修复手段，否则容易在错误的层上反复修补，问题却出在另一层。后训练可以改变行为，但它不会抹去基础机制：底层家族的信息流约束始终在那里，决定着模型能做什么、不能做什么的边界。

“开源模型更隐私”和“闭源模型一定更强”都是不成立的判断，因为它们把交付层的几个独立问题混成了一个标签。权重许可、训练代码的开放程度、数据的开放程度、托管位置和 API 数据政策，是五个不同的问题，任何一个的答案都不能从其他几个推出。

开放权重允许自托管：把模型跑在自己的服务器上，数据确实不必离开自己的机房。但如果把开放权重模型部署在第三方云上，数据仍然可能外发到云服务商；反过来，API 服务也可能提供零保留与区域选项，在合同层面承诺不保存请求、只在指定区域处理。“开源”描述的是权重能否拿到，不描述数据流向何处；“闭源”描述的是权重拿不拿到，也不描述服务商的日志策略。隐私取决于部署拓扑、合同和日志策略，而不是名称。

品牌同样不是精确标识。同一个品牌下会同时存在多代模型、多个尺寸、多模态与纯文本版本、不同上下文长度的版本，它们的能力和许可都可能不同。因此从名称不能直接推出任何关键属性，必须逐项查证：隐私与数据保留要查部署拓扑、合同与日志策略；可商用性要查权重、代码和数据的许可证；工具可靠性要查函数调用评测、权限与重试行为；知识新鲜度要查知识截止时间、检索源与更新时间；真实版本要查模型 ID、日期、参数规模和服务档位。

这也解释了为什么选型时“先挑品牌”是错误起点。品牌只标识交付方，不标识架构家族、训练目标或具体版本的边界。把品牌、许可、托管和版本这四个维度分开核查，才能对“这个模型在我的场景里到底意味着什么”给出可执行的答案。

把整条因果链连起来，从“我有一个任务”到“我有一个可验证的系统”，每一步都由上一步的结论驱动。

起点是拆解任务与失败代价。一个需求先被拆成若干子任务，并明确每个子任务出错时付出什么代价：误分类一单、读错一张票据、说错一句话，代价完全不同。这一步决定后面所有取舍的权重。

第二步是列出硬约束：模态、延迟、许可、上下文长度、数据驻留。这些是“不满足即出局”的条件，先过滤，避免在不可用的选项上浪费时间。

第三步用信息流与训练目标筛选家族。分类与抽取偏向双向读全文的编码器，续写与对话偏向因果解码器，连续高维信号偏向扩散，长序列扫描偏向状态空间模型。家族匹配的是任务的自然形态，而不是品牌。

第四步在真实数据切片上比较候选。用同一份数据、同一个成功定义评测通过硬约束筛选的候选家族与规模，画质量—成本—延迟的 Pareto 前沿，而不是把异质指标加成一个总分。

第五步把生成与高风险执行隔离。模型产出文本与建议，真正改变状态的执行——退款、扣款、发送——交给有权限边界的工具层。模型的输出可以是“请求执行”，但权限永远在执行层。

第六步记录完整版本并持续回归。模型版本、提示词、检索库和工具版本共同决定系统行为，任何一项变更都可能改变结果；记录它们，并在数据漂移或版本更新时持续回归评测。

这条链的每一步都产生可验证的中间物：任务清单、约束表、家族候选集、切片评测结果、权限边界图、版本记录。因果链的意义在于，任何一步出错都能定位到具体环节：路由错了回看任务拆解，指标失真回看评测数据，执行越界回看权限层。模型家族从抽象坐标变成可追踪的决策过程。