

带你读《小岛经济学》(前言和 1 到 4 章)20 分钟读书
DeepSeek-OCR与“上下文光学压缩”:如何用10倍压缩率突破LLM长文本处理的效率瓶颈本期主题:深度探索视觉-文本压缩的极限:DeepSeek-OCR 如何利用视觉模态解决 LLM 的长上下文挑战 【核心概念】 本期节目将聚焦 DeepSeek-OCR,这是一个旨在验证“上下文光学压缩”可行性的视觉-语言模型 (VLM)。面对当前大型语言模型 (LLMs) 处理长文本内容时,计算量随序列长度呈二次方增长的重大挑战,DeepSeek-OCR 提出了一种潜在解决方案:利用视觉模态作为高效的文本信息压缩介质。 【主要看点】 1. 高效压缩与高精度解码:DeepSeek-OCR 提供了视觉-文本 token 压缩比的全面定量分析。实验表明,当文本 token 数量在视觉 token 数量的 $10 \times$ 以内(即压缩比 $< 10 \times$)时,模型可以实现 $97%$ 的 OCR 解码精度。即使在高达 $20 \times$ 的压缩比下,OCR 准确率仍能保持在 $60%$ 左右。 2. 创新架构:DeepSeek-OCR 由核心引擎 DeepEncoder 和 DeepSeek3B-MoE 解码器组成。DeepEncoder 是一种新型架构,它串联了窗口注意力组件和全局注意力组件,并通过 $16 \times$ 卷积压缩器进行连接,从而在高分辨率输入下保持低激活内存并实现有效 token 压缩。 3. 行业领先性能:在 OmniDocBench 上,DeepSeek-OCR 在端到端模型中实现了最少视觉 token 的最先进性能。它仅使用 100 个视觉 token 就超越了 GOT-OCR2.0 (256 个 token/页),并且在使用少于 800 个视觉 token 的情况下,性能优于 MinerU2.0。 4. 实用价值与未来方向:DeepSeek-OCR 在实际生产中具有高价值,能够以每天 20 万+ 页的规模为 LLMs/VLMs 生成训练数据(使用一块 A100-40G GPU)。此外,上下文光学压缩的方法为解决 LLMs 中的长上下文挑战提供了有希望的方向,并可能为 LLMs 中的记忆遗忘机制研究提供思路。 5. 多功能性:该模型支持多分辨率输入模式(例如 Tiny、Small、Base、Large、Gundam 模式),并具备深度解析图表、化学公式、简单几何图形以及自然图像的能力。 【更多信息】 DeepSeek-OCR 的代码和模型权重已公开,请访问 github.com。 (本播客由 AI 生成)
物理巨匠杨振宁:从宇称不守恒到杨-米尔斯理论这个音频节目的主要内容将围绕物理学巨匠杨振宁(Chen Ning Yang)的四大核心主题展开:他如何打破旧的对称性原理(宇称不守恒)、如何建立新的对称性框架(杨-米尔斯理论)、他与李政道之间著名的“不守恒的友谊”的始末,以及他对20世纪物理学和中国科学界留下的深远遗产。 以下是根据来源信息整理的主要内容回顾和时间线: 一、 主要内容回顾 1. 宇称不守恒:对称性的颠覆 杨振宁与李政道(Tsung-Dao Lee)合作,共同提出弱相互作用中宇称不守恒的理论,这是他早期最著名、且获得诺贝尔奖的工作。 * 理论背景: 在1956年之前,物理学界普遍认为宇称(物理现象与其镜像之间的对称性)是普遍守恒的,如同能量守恒一样神圣不可侵犯。 * 危机与突破: 为了解决当时被称为“$\theta$–$\tau$之谜”的K介子衰变反常现象,杨李二人大胆质疑宇称守恒律在弱相互作用中可能失效。 * 实验验证: 1957年初,吴健雄(Chien-Shiung Wu)通过钴-60核的$eta$衰变实验,确定性地证明了弱相互作用确实违反宇称守恒,即弱核力能够区分物理过程和它的镜像。 * 荣誉与争议: 杨振宁和李政道因这项“对宇称定律的透彻分析”在1957年共同获得诺贝尔物理学奖。然而,实验物理学家吴健雄的缺席被认为是诺贝尔奖历史上“最大的错误”之一。 2. 杨-米尔斯理论:现代对称性的基石 尽管宇称不守恒获得了诺贝尔奖,但**杨-米尔斯理论(Yang-Mills Theory)**被广泛认为是杨振宁最具深度和建筑学意义的贡献。 * 理论创建: 杨振宁于1954年与罗伯特·米尔斯(Robert Mills)共同提出了非阿贝尔规范场论。 * 概念突破: 该理论将电磁学基于简单交换群 $\mathrm{U}(1)$ 的阿贝尔规范不变性,推广到了复杂非交换的非阿贝尔紧致李群(如 $\mathrm{SU}(n)$)。这种非阿贝尔结构要求传递力的规范玻色子(如胶子)必须携带相应的荷,并能与自身相互作用。 * 核心地位: 杨-米尔斯理论为粒子物理学标准模型提供了不可或缺的数学骨架。强核力(量子色动力学,QCD)基于 $\mathrm{SU}(3)$,电弱统一理论基于 $\mathrm{SU}(2) \times \mathrm{U}(1)$。 * 持续挑战: 该理论最初因预测规范玻色子无质量而未被接受,直到1970年代引入希格斯机制(Higgs mechanism)和渐近自由(asymptotic freedom)才得以全面应用。至今,“杨-米尔斯存在性与质量间隙问题”(Yang-Mills Existence and Mass Gap Problem)仍然是七大千禧年数学难题之一,奖励100万美元。 3. “不守恒的友谊”:杨李之争 杨振宁与李政道之间的矛盾是20世纪科学史上影响深远的学术公案,被媒体称为一段“不守恒的友情”。 * 合作基础: 两人在早期是亲密的合作者,共同师从吴大猷,并在统计力学和粒子物理领域进行了深入合作,如李–杨相变理论。 * 冲突爆发: 1957年诺贝尔奖的巨大荣誉和双人共享的机制,将原本可能内部解决的学术分歧升级,迫使他们对各自在理论突破中的贡献进行排名和优先排序。 * 深层根源: 矛盾并非纯粹是科学分歧,而是源于深刻的个人特质冲突。李政道长期以来对杨振宁在财务上的精明(可以追溯到1947年的轶事)形成了“精于算计”的感知。这种心理差异将专业的贡献分配争议上升到性格和道德层面。 * 关系决裂: 在经历了数年的内部争吵和外部压力后,杨振宁和李政道的关系在1962年彻底破裂。此后,杨振宁继续在理论物理领域高产,并拓展了他在科学外交上的影响力;而李政道的学术产出在获奖后趋于平淡。 4. 百年科学遗产与家国情怀 杨振宁的一生(1922年—2025年)涵盖了现代粒子物理学的整个奠基时代。他的遗产不仅限于粒子物理学,还包括统计力学、数学物理以及对中国科学的贡献。 * 统计物理学成就: 他在1952年与李政道提出的李–杨零点定理(Lee-Yang theory)为相变提供了严格的数学框架。1967年,他发现了杨–巴克斯特方程(YBE),这成为可积系统和量子群理论的基石。 * 科学外交与归国: 杨振宁于1971年成为最早访问中国大陆的华裔科学家之一,开启了数十年的科学外交生涯。他积极推动中美学术交流,并支持中国建立世界一流的研究机构,如清华大学高等研究中心。 * 落叶归根: 1999年从石溪大学退休后,杨振宁回到清华大学任教。2003年定居北京。2015年(一说2017年),他正式放弃美国国籍,恢复中国公民身份。他曾表示,他一生最重要的贡献是“帮助了中国人克服了自己不如人的心理”。 * 最终逝世: 杨振宁于2025年10月18日在北京逝世,享年103岁。 二、 杨振宁生涯关键时间线 杨振宁的职业生涯跨越多个领域,以下是他重要的学术、合作及个人里程碑: 年份事件或成就领域及合作者来源19229月22日出生于安徽合肥。早年生活1942获西南联合大学理学学士学位 (B.Sc.)。教育1944获清华大学理学硕士学位 (M.Sc.)。教育1946–1949在芝加哥大学攻读博士和担任费米助手。教育/合作1949与李政道合作,推测弱相互作用的普适性。与费米提出费米–杨模型(F-Y Model)。粒子物理1949开始在普林斯顿高等研究院 (IAS) 工作。机构任职1950与杜致礼结婚。个人生活1952与李政道提出李–杨相变理论,包括李–杨零点定理。统计力学1954与罗伯特·米尔斯共同提出杨–米尔斯规范场论 (Yang-Mills Theory)。规范场论1956与李政道发表论文,提出弱相互作用中宇称不守恒。粒子物理19571月: 宇称不守恒被吴健雄实验证实。12月: 共同获得诺贝尔物理学奖。粒子物理/荣誉1962与李政道的关系彻底破裂。友谊/冲突1964归化为美国公民。个人生活1966成为纽约州立大学石溪分校 (SUNY) 阿尔伯特·爱因斯坦物理学教授。机构任职1967提出杨–巴克斯特方程 (YBE)。数学物理1971首次访问中国大陆,开启中美科学外交。外交/遗产1975与伍献文(T.T. Wu)合作研究吴–杨磁单极解。规范场论1999从石溪大学退休;同年开始在清华大学担任教授。机构任职/归国2003定居北京清华园,担任清华大学高等研究院名誉院长。归国2004与翁帆结婚。个人生活2015放弃美国国籍,恢复中国公民身份。个人生活/归国202510月18日,因病在北京逝世,享年103岁。 (本音频由 AI 生成)