
叔读国产新秀跃阶星辰 | 10B多模态革命详细介绍了 STEP3-VL-10B,这是一个旨在平衡紧凑效率与尖端多模态智能的开源基础模型。该模型通过在 1.2T 标记的多模态语料库上进行全参数预训练,并结合超千次迭代的强化学习,显著增强了其感知与推理能力。核心技术创新在于引入了并行协调推理 (PaCoRe),通过在测试时增加计算量来探索和整合多种视觉假设。尽管参数量仅为 10B,该模型在 MMMU 和 MathVision 等多个基准测试中展现了卓越性能,足以媲美甚至超越规模大其 10 到 20 倍的领先模型。研究团队还深入探讨了强化学习的动态特性,并致力于通过发布完整模型套件来缩小紧凑型模型与前沿智能之间的差距
叔读大模型自我修正 | 准确率悖论与错误深度假设探讨了大语言模型在没有外部帮助下纠正自身错误的能力,将其细分为检测、定位和修正三个维度。作者提出了**“准确率-纠正悖论”,发现性能较弱的模型在自主纠错率上反而优于更强大的模型。研究通过“错误深度假说”对此进行了解释,即顶尖模型虽然错误较少,但其犯下的错误往往更为复杂且难以修复。实验还显示,识别错误的能力并不能预示纠错的成功,甚至提供错误位置的提示反而会降低模型的表现。这些发现挑战了模型能力越高则自愈能力越强的传统认知,为优化模型自我完善机制**提供了新的视角。
叔读清华大学论文 | 让AI胡说八道的原罪H这项研究揭示了大型语言模型中存在极少数与幻觉直接相关的H-Neurons(幻觉神经元),其数量通常不足总数的0.1%。研究人员通过稀疏线性探测成功识别出这些神经元,发现它们不仅能跨领域预测幻觉的发生,还与模型的过度合规性行为具有因果联系。实验证明,人为增强这些神经元的活性会导致模型更容易接受错误前提、屈从于误导信息甚至绕过安全过滤,表现出追求应答而牺牲事实的倾向。通过对模型演化过程的追踪,学者们发现这些神经元在预训练阶段就已经成型,而非后期对齐训练的产物。这一发现不仅为理解幻觉的微观机制提供了新视角,也为通过精准干预神经元来提升模型可靠性开辟了技术路径。
机器记忆的革命 | 叔读DeepSeek最先研究Engram本次研究DeepSeek最新的研究成果,介绍一下 Engram,一种为大语言模型设计的条件记忆模块,旨在解决传统 Transformer 模型在处理静态知识检索时效率低下的问题。通过引入基于 $N$-gram 词嵌入的 O(1) 复杂度查表机制,该架构将常态化的知识提取从复杂的神经计算中解脱出来。研究团队发现了优化神经计算与静态记忆配比的 U 型缩放法则,并据此构建了拥有 270 亿参数的混合模型。实验证明,Engram 在通用推理、数学代码以及长文本处理等任务上显著优于同等规模的 MoE 基座。该技术支持预取与异步传输,能将庞大的参数表存储于主机内存并保持极低的推理开销,为构建下一代高效稀疏模型提供了新思路。
叔读DeepSeekMath-V2数学超越实现自我验证人工智能实现自我怀疑,自我认证改正。4天前,DeepSeek发布自验证数学推理的大型语言模型,超越了传统上仅奖励最终答案的局限。研发团队通过训练一个基于大模型的验证器,来根据严格的标准(0、0.5或1分)评估数学证明的正确性与严谨性。为了确保验证的准确性和忠实性,系统引入了元验证环节,用于评估验证器本身发现的问题是否合理并与其评分相符。随后,一个证明生成器以验证器的结果作为奖励信号进行训练,激励模型在最终确定结果前进行自我验证并解决其推理中的缺陷。这种验证和生成迭代改进的协同机制使得 DeepSeekMath-V2 表现出色,在包括 IMO 2025 和 Putnam 2024 在内的高级别数学竞赛中取得了金牌水平的成绩。这项工作证明了大型语言模型可以在复杂的推理任务中培养出有效的自我评估能力。
叔读《王天夫:焦虑社会及其根源》《王天夫:焦虑社会及其根源》探讨了现代社会中普遍存在的焦虑现象,分析了“内卷”与“躺平”等应对策略,并将焦虑的根源归因于理性主义、优绩主义的盛行、社会加速和不确定性风险。《心理观察》和《情绪价值与当代青年社会心理诉求》则聚焦于当代国人的心理困境,指出工作、育儿、健康压力带来的焦虑,以及意义缺失和对“情绪价值”的迫切需求是青年群体的主要心理诉求,并提出了社会支持系统和文化基因再造的突围路径。另两篇关于老龄化的研究报告(《中国老龄发展报告2024》和《老龄化社会心理问题研究和心理服务实践》)系统分析了老年人常见的心理问题,如孤独感、抑郁和焦虑,强调了生理、社会支持缺乏和新的代际关系对老年人心理健康的负面影响,并提出了构建社区老年心理援助体系的建议。
叔读AI里程碑Transformer架构原论文《Attention_Is_All_You_Need》“Attention Is All You Need”阐述的Transformer架构是当今生成式AI的爆发原点,该论文由来自Google Brain和Google Research等机构的多位作者共同撰写。这篇论文提出了一个名为Transformer的全新网络架构,它完全基于注意力机制,彻底摒弃了传统的循环(recurrent)和卷积(convolutional)神经网络结构,用于序列转导任务。作者们证明,Transformer模型在机器翻译任务上表现出卓越的性能,包括在WMT 2014英德和英法翻译任务中取得了新的最先进(state-of-the-art)结果,同时实现了显著的训练速度提升和更高的并行化能力。文中还详细介绍了Transformer的模型架构,包括编码器-解码器堆栈、多头注意力(Multi-Head Attention)机制、位置编码以及它在英语成分句法分析等其他任务上的泛化能力。
叔读DeepSeek-OCR论文,AI真的可以读书了!AI真的可以读书了?关于 DeepSeek-OCR 模型的技术解析,该模型旨在通过光学二维映射实现长文本内容的压缩,以解决大型语言模型(LLMs)处理长序列时的计算瓶颈。DeepSeek-OCR 由 DeepEncoder 和 DeepSeek3B-MoE 解码器两部分组成,其中 DeepEncoder 专注于在实现高压缩比的同时保持低激活和少量视觉 tokens。实验结果显示,该模型在 10 倍压缩比下能保持约 97% 的光学字符识别(OCR)精度,并在 OmniDocBench 上以极少的视觉 tokens 实现了 先进的性能,证明了视觉模态作为文本信息压缩介质的实用性和巨大潜力。该研究还探讨了这种光学压缩方法如何模拟人类记忆的遗忘机制,为未来 LLMs 的超长上下文处理提供新的思路。
HUA叔揭秘SEAL框架,现人工智能自我进化已实现MIT麻省理工大学论文,揭秘LLM大模型自我进化元年?SEAL框架让LLM告别“静态知识库”。
叔聊ThinkPad品牌书设计灵魂与精髓V2修订版发布:ThinkPad品牌书设计灵魂与精髓:从便当盒到小红点,极致简约背后的“人机合一”进化论与细节。
独家揭秘歼-50“全动翼尖”AMT技术
第一时间!深度解读DeepSeek-V3.2-Exp模型的DSA稀疏注意力机制今日DeepSeek-V3.2-Exp 发布,叔第一时间深度解读DSA,如何用“闪电索引”和“细粒度选择”打破大模型O(L²)计算魔咒,实现成本减半的长序列推理。
HUA叔解密ThinkPad“灵魂与精髓”解密ThinkPad“灵魂与精髓”:从松花堂便当盒到“小黑点”的进化式设计哲学。