叔读国产新秀跃阶星辰 | 10B多模态革命

详细介绍了 STEP3-VL-10B，这是一个旨在平衡紧凑效率与尖端多模态智能的开源基础模型。该模型通过在 1.2T 标记的多模态语料库上进行全参数预训练，并结合超千次迭代的强化学习，显著增强了其感知与推理能力。核心技术创新在于引入了并行协调推理 (PaCoRe)，通过在测试时增加计算量来探索和整合多种视觉假设。尽管参数量仅为 10B，该模型在 MMMU 和 MathVision 等多个基准测试中展现了卓越性能，足以媲美甚至超越规模大其 10 到 20 倍的领先模型。研究团队还深入探讨了强化学习的动态特性，并致力于通过发布完整模型套件来缩小紧凑型模型与前沿智能之间的差距