鱼羊 发自 凹非寺富配平台
量子位 | 公众号 QbitAI
大模型一个token一个token生成，效率太低怎么办？
微信AI联手清华大学，提出了一个新的解法：
一个token能装下的信息太少，不如把它们打包成连续向量，让大模型从预测下一个token，转变为预测下一个向量。
研究团队给这种新范式取名CALM（连续自回归语言模型）。
实验表明，将K个词元压缩成一个连续向量，可以将语言模型建模为一系列连续向量，生成步骤减少至原来的1/K。
这样一来，模型就能在平衡性能和计算成本时，实现更高的性价比。
有网友认为，这种方法看上去越来越接近大脑实际处理上下文的方式。
还有网友提出，CALM像是DeepSeekOCR/Glyph的改进版。
提升每个预测单元的语义带宽富配平台
研究人员指出，预测下一个token的现有模型范式，一开始是因为基于字符级运行的模型计算量太大而被提出的。
也就是说，方法背后的关键思想是：提升每个文本单元的信息密度，能够缩短序列长度并显著提升模型效率。
进一步挖掘本质，可以总结出一条提升大模型生成效率的有效途径：持续提升每个预测单元的语义带宽。
问题在于，如果想让一个token装更多的信息，就得把词表做得超大，反而会让计算量和存储成本爆炸。
微信AI和清华大学团队想了个办法：把多个token打包成一个连续向量，让模型每次处理一个向量，而不是一个token。这样一来，比如一个序列的长度为T，将K个token打包为1个向量，序列长度就会缩短为T/K。
他们设计了一个高保真自编码器，能将K个token压缩成一个连续向量，并能以超过99.9%的准确率从中重构原始token。
连续自回归语言模型
不过，从处理token向处理向量转变，还面临着一个重大挑战：
由于不存在有限词汇表，模型将无法借助标准的softmax层，对所有可能结果计算出明确的概率分布。
这也就意味着，需要为此开发全新的建模工具。
于是富配平台，研究团队提出了CALM——一套完整的、无需依赖概率似然的框架。
△CALM框架无似然语言建模
训练方面，CALM采用“能量损失”来教模型学习连续向量。
不用算概率，而是改用“能量分数”来判断模型生成的向量好不好。
具体来说，为了实现连续向量生成，研究人员采用轻量级生成头作为模型的核心输出组件。该生成头以最后一个隐藏状态为条件，来生成输出向量。
同时，为避免迭代式采样过程造成新的推理瓶颈，研究人员引入了Energy Transformer。
Energy Transformer专为连续向量的高效单步生成设计，无需迭代，仅需1步计算即可输出连续向量。
能量损失是CALM训练Energy Transformer时用的损失函数，不依赖概率计算，而是用“距离”和“多样性约束”两个维度判断向量质量——既让生成的向量贴近真实值，又避免模型只会生成一种向量。
无似然语言模型评估不算概率了，困惑度（Perplexity）这个评估指标也就不好用了。
为此，研究人员提出了BrierLM，一种基于布里尔分数的新型语言模型评估指标。
只需从模型中抽取样本，就能无偏地估算出BrierLM值。
实验证明，BrierLM值和困惑度高度相关，能保证对模型能力的公平比较。
无似然温度采样现在流行的大语言模型是通过温度采样来实现可控生成的，但这同样依赖于概率分布。
CALM提出了无似然温度采样，这一算法基于拒绝采样，通过调整样本的接受概率来实现温度控制。
实验结果：更具性价比
研究人员通过实验验证，CALM在平衡性能和计算成本时更有性价比。
在标准语言建模任务上，CALM-M（K=4，参数量371M）在性能上与Transformer-S（281M参数）相当，但训练浮点运算数（FLOPs）减少了44%，推理FLOPs减少了34%。
模型越大，CALM的优势越明显。并且随着语义带宽K的增加，CALM的性能-效率比也会更优。
不过，研究人员也提到，压缩的token数K太多时，反而会导致性能下降，可能需要更换更大的模型。
论文地址：
https://arxiv.org/abs/2510.27688— 完 —
量子位 QbitAI · 头条号
关注我们富配平台，第一时间获知前沿科技动态签约
同创优配提示：文章来自网络，不代表本站观点。
