【第777期】字节模型蒸馏与扩展规律研究Seventy3

【第777期】字节模型蒸馏与扩展规律研究

19分钟 ·
播放数2
·
评论数0

今天的这篇的主题是: Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models

Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要,也不是泛泛而谈,而是让 AI 帮你把论文掰开揉碎,说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域,每期挑一篇值得关注的工作,用对话的方式聊给你听。你可以在通勤路上听,做实验的时候听,也可以当背景音放着,让新知识自然地长进脑子里。

如果你正在做有意思的研究,想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们,我们帮你用 AI 做一期深度解读,让你的工作被更多同路人发现。

联系小助手微信:eccstartup(加群/投稿论文)

Summary

通过从采用相同分词方案的大模型中进行知识蒸馏,可以提升小模型的能力。然而,随着计算量和数据量的增加,经过蒸馏的字节模型与词元模型是否表现出相似的扩展趋势?

为了实现这一比较,我们提出了两种将词元 logits 高效转换为字节 logits(Byte Logits)的方法:1)近似方法 Marginalize-It;2)精确方法 End-Of-Token。

随后,我们开展了首个大规模研究,同时考察两个维度的变化对仅解码器(decoder-only)稠密 Transformer 模型过度训练(overtraining)的影响:分词方案(Tokens、Bytes、Bytes w/ eot)和训练目标(知识蒸馏与交叉熵)。我们对层参数量匹配、规模约为 10 亿参数的模型进行了系统性实验,训练数据量最高达到 1 万亿字节。

在涵盖三大类别——多项选择问答、语言生成和机器翻译——的八项基准测试中,我们发现,在低 FLOPs(浮点运算量)区间,Token-1B 模型的表现优于字节模型(End-Of-Token-1B 和 Bytes-1B),但其性能最终会进入平台期。相比之下,字节模型虽然起点较低,但随着计算量增加,其性能会超越 Token-1B 模型,并达到更高的下游任务性能上限。

通过对平均 Top-1 错误率与验证集每字节比特数(BPB)之间的扩展定律进行外推,我们预测,从渐近表现来看,经过蒸馏的 End-Of-Token-1B 模型相比经过蒸馏的 Token-1B 模型,性能最多可提升 4%。

字节模型的数据效率也高得多,仅使用六分之一的训练数据,就能达到蒸馏版 Token-1B 模型的性能水平。

此外,由于字节模型使用的是仅包含 256 个字节的小词表,而不是规模约为 10 万的词元词表,因此在导出 logits 时无需进行 top-k 截断,同时还能将 logits 的存储成本降低至约五分之一。

最后,我们建立的下游任务性能扩展定律预测,经过蒸馏的 End-Of-Token-1B 模型在渐近情况下,其下游任务平均性能将分别超过 Llama 3.2-1B、Gemma-3-1B-pt 和 Gemma 2B 模型,提升幅度最高分别达到 6.5%、8.1% 和 2.1%。

原文链接:arxiv.org