vol.114.AI的2025和DeepSeek们的未来 | 对谈复旦张奇教授起朱楼宴宾客

vol.114.AI的2025和DeepSeek们的未来 | 对谈复旦张奇教授

84分钟 ·
播放数81685
·
评论数316

和复旦大学张奇教授关于AI行业的2024复盘和2025展望。

大家好,我是大卫翁,“起朱楼宴宾客”是我用来记录这个大时代的播客节目。

这是一期提前放送的节目。本来准备春节后发布的,毕竟谁都知道假期就是播客流量黑洞,更何况是春节这种级别的假期。谁想到AI行业真的是日新月异,去年sora没有让中国人过好年,今年轮到DeepSeek让美国股市暴跌了。得,赶紧后期处理一下上线吧。

不过,虽然标题里有提DeepSeek,但抱歉,这只是蹭一下热点,我和张教授更多探讨的是2024年这个产业在技术端和应用端都发生了什么,以及2025年我们可以期待些什么。不过相信我,听完你一定会有所收获。

本期节目的文字版本在同名公众号上:链接在这里

本期是和第一财经的串台,指路第一财经www.xiaoyuzhoufm.com

关于张奇教授的介绍:

张奇,复旦大学计算机科学技术学院教授、博士生导师。兼任上海市智能信息处理重点实验室副主任,中国中文信息学会理事、CCF 大模型论坛常务委员、CIPS 信息检索专委会常务委员、CIPS 大模型专委会委员。复旦眸思大模型负责人。

主要研究方向是自然语言处理和信息检索,聚焦大语言模型、自然语言表示、信息抽取、鲁棒性和解释性分析等。在ACL、EMNLP、COLING、全国信息检索大会等重要国际国内会议多次担任程序委员会主席、领域主席、讲习班主席等。

近年来承担了国家重点研发计划课题、国家自然科学基金、上海市科委等多个项目,在国际重要学术刊物和会议发表论文200余篇,获得美国授权专利4项,著有《自然语言处理导论》和《大规模语言模型:理论与实践》,作为第二译者翻译专著《现代信息检索》。

获得WSDM 2014最佳论文提名奖、COLING 2018 领域主席推荐奖、NLPCC 2019杰出论文奖、COLING 2022杰出论文奖。获得上海市“晨光计划”人才计划、复旦大学“卓越2025”人才培育计划等支持,获得钱伟长中文信息处理科学技术一等奖、汉王青年创新一等奖、上海市科技进步二等奖、教育部科技进步二等奖、ACM 上海新星提名奖、IBM Faculty Award等奖项。

简易时间轴:

04:12 中文播客圈的AI节目缺少学界视角,希望这一期可以补上

应用Part1:

07:19 我和张教授最常用的AI应用:大卫翁——Chatgpt、沉浸式翻译和Podcastle.ai

一个沉浸式翻译的邀请链接(利益相关:用这个链接注册并购买会员后我会有返利,但相信我,真的好用):immersivetranslate.com (如果显示页面崩溃请放到浏览器里打开)

张教授——Cursor

14:07 生成式AI的核心是场景,而不是通用或者垂直

底层Part:

18:01 大模型们会出现幻觉,以及无法回答常识问题的底层原因是什么?

22:37 大模型最重要的有四个能力:长文本、跨语言、多任务和生成式

25:22 但底层逻辑没有变,AGI用这套框架就遥不可及

29:04 所以普通人更好的使用生成式AI的方式是根据不同的场景使用不同的应用

延伸收听:硅谷101:《E177|“没有AI我会难受至极”:与大学生聊聊智能工具的依赖与适应

37:34 大模型的底层依然是统计学而不是逻辑学的结果,就是我们需要一个AI行业的爱因斯坦把底层的架构从统计机器学习转换成新的范式,才可能迎来真正的通用人工智能时代

应用Part2:

42:57 除了AI编程之外,2024年最印象深刻的行业进展还有视频生成……

47:02 ……以及chatgpt o1、o3的范式切换

53:23 DeepSeek的横空出世,是中国AI行业的范式突破吗?

商业Part:

59:27 从四小龙,到六小虎,再到进击的巨头字节和阿里,AI公司的烧钱何时是个头?

66:40 2025年很可能是大量服务行业+AI后,行业格局洗牌的一年

71:39 AI搜索也是绝佳的新机会,但为什么传统搜索巨头做不好?

73:38 Agent会是2025年AI产业非常明确的突破点

延伸收听:十字路口《2025 开年对谈:AI 关键之年,Agent 开启元年 | 对谈真格基金戴雨森》

76:34 AI行业的加速发展是从生成式AI开始的吗?还是之前就已经开始加速了?

77:46 再加速下去,最先下岗的会是AI研究员和算法工程师

81:35 虽然技术的天花板就在那里,但对于生成式AI浪潮来说,百花齐放的应用和对日常生活的改造是可以期待的

欢迎加入我的知识星球,我正在好好运营那一片后花园。

欢迎大家关注我的生活方式播客节目《犬生活》,《关于2025年的六个预测(犬生活X油条配咖啡版)》新鲜出炉~

串台收听:

大卫翁对话复旦张奇教授:AI的2025和DeepSeek们的未来 | 周末会客听

www.xiaoyuzhoufm.com

欢迎在评论区和我互动,或者给我写邮件,邮箱地址qizhulouyanbinke@gmail.com。

节目BGM:

The Long Way Round - Jodymoon

节目后期:甜食、大卫翁

展开Show Notes
大卫翁
大卫翁
2025.1.30
置顶
本期节目的文字稿已在公众号上线,DeepSeek不给力,两万五千字还是我手工整理的:https://mp.weixin.qq.com/s/_OipuQZGz5Bpz54yBnjzkQ
ooo歪果仁儿:😂哈哈哈,辛苦了
点点小瓶子:哈哈哈哈
4条回复
eloge
eloge
2025.1.30
32:48 中文的深度搜索也可以试试用metaso,我用了很久的文档和知识库的搜索,能找到不少绝版但非常有用的电子书(比如上教社哲人石出品的《知无涯者:拉努金传》)
拉黑只能代表你不自洽:原来是“秘塔AI”
大卫翁
:
10条回复
我是硅谷101那期播客的嘉宾Henry,感谢提及!欢迎AI行业的朋友加wx聊天,1140428509
阿帅_bQ9d:感恩有你!
Ass嘟嘟
Ass嘟嘟
2025.2.02
「✅生成式AI」
核心是场景,而不是通用或者垂直。特别专注于某个场景的AI辅助工具反而更好用。
现在AI的能力边界是针对场景,整个AI发展是场景化驱动的。
AI应用:Chatgpt、沉浸式翻译、Podcastle.ai、Cursor、AI编程。

「✅训练数据」
专业问题上表现很好,但在一些很通用的常识类问题上反而会出错。底层原因是训练数据没有往里面放。
如果判定这个模型记住了这个知识点,需要60条训练数据。
模型的知识来源于预训练,所有的知识点全部靠预训练数据记住的。且有一些特定的规范,比如出现次数、一定特异性。
这个模型的训练数据决定了它能记住什么知识。
每个场景都需要特定的准备数据。

「✅大模型」
能力:长文本、跨语言、多任务和生成式。
所有自然语言处理的任务可以转换成一个语言的表达,即把所有的任务融合成了一个生成式的框架,但并不意味着不需要训练数据(底层逻辑)了。
预训练:大量的数据,知识记忆、学习。
后训练:能力来源全部来源于预训练数据。所谓的涌现,仅仅是预训练数据里在一些情况下让它反映出来了,但准确率达不到可用程度。如果想让这个任务做的很准确,一定要在后训练阶段放训练数据(有监督且精挑细选的)。先探测这个模型记住了哪些知识点;再针对记住的知识点再构造60套训练数据。要跟模型紧密匹配。

「✅使用」
利用垂类的AI工具,辅助现在的工作(场景化)。
把核心观点组织好,剩下的填充由AI完成。
大模型是基于深度学习,深度学习本质上是统计机器学习,统计机器学习的核心逻辑是针对一个场景,数据量越大学的越好。问题是学不到因果性,只能一个小场景一个小场景的去做,所依赖的是概率学。
大模型的底层依然是统计学而不是逻辑学的结果,就是我们需要一个AI行业的爱因斯坦把底层的架构从统计机器学习转换成新的范式(底层的数据工具支撑),才可能迎来真正的通用人工智能时代

「✅2024 - 行业进展」
1)视频生成
从时长、质量、图像上有非常大的进步。
2)chatgpt o1、o3的范式切换
加入了反思的过程。
3)DeepSeek横空出世

「✅AI公司」
预训练数据的成本量级非常贵,只有足够体量的公司,才敢这么做。后训练标注研究过程,更花钱。
估值不好做。
市销率10-20倍,对新质生产力的公司比较合适。
海外订阅制的商业模式,可能更好;中国订阅的习惯还没培养起来。

「✅行业格局」
2025年,传统行业,因AI的加持,原有的行业格局会发生较大变化。
第一,场景要适合它;第二,这个场景一定能带来非常大的体验感的不同。
小公司不用想,只有原来在客服领域的老大、老二、老三,谁先能做到最好的体验,就可以抢份额了。
比如客服行业。

「🔍AI搜索」
创业公司能进入的一定是一个创新型的产品。
大公司有自己天然的惯性,左右互搏的问题。
对百度来说,文心一言会抢百度搜索的份额。字节没有搜索品牌,肯定大量的上。

「✅AI行业」
1)Agent
是2025年AI产业非常明确的突破点。
一个做自我决策的智能体。有反思的机制,靠自我进行修正。
2)加速发展
原因主要是使用范围变广了。
再加速下去,最先下岗的会是AI研究员和算法工程师。
一线大厂的高端研究员的快速裁员很恐怖。工程架构的人是有技术积累的,不太敢动。算法研究员过去学的没有用了,现在全换成大模型了。
3)突破
生成模型跟之前没有特别大的变化,导致了极限在那里,如果想突破必须得在AI之外的地方,在数学或自然科学有突破,或者是两者互相影响带来突破之后,才可能从现在的这个阶段走向下一个阶段,而目前好像还没有看到这个迹象。
如果想做推理一定要限制在一个非常小的场景,而且你要有大量的训练数据。
4)百花齐放
虽然技术的天花板就在那里,但对于生成式AI浪潮来说,可能会看到百花齐放的AI应用。
银河帝国的时代还没有到来,但是让AI来帮助我们做很多事情的这个时代其实已经到来了。
在垂直场景上的深入,会是未来两年会看到很多变化的地方。
Ass嘟嘟:新年快乐🎆🎊🎉🍾
Sarah_XeZc:这里也有你
5条回复
马驫驫
马驫驫
2025.2.01
1:20:24 感谢张老师!DS带来的紧张和危机感,稍微消散了一点!无论什么样的时代,提升自己都是王道!各种新兴的,本质上都是工具,如何利用,如何赋能我们认识自己,才是我们应该不断思索的问题和方向,每个人都不同
大卫翁
:
恭喜你获得由小宇宙官方联合起朱楼宴宾客赠送的小宇宙月度PLUS会员~会员资格预计会在本周内到账,敬请关注,若一周尚未到账请联系我。新年快乐!
马驫驫:哇!意外之喜!谢谢大老师✌️
3条回复
挺有趣的学界观点

大模型本质是统计机器学习,根据统计学而不是逻辑学,因此如果想要做因果推理,需要一个爱因斯坦这样的人,创建一套全新的数学框架,才有可能通往AGI
袁辘辘
袁辘辘
2025.2.01
55:22 摘了这一段去问Deepseek,在多大程度上认同这里对他的评价,以下是它的回答:

关于报道中对深度求索(DeepSeek)及大模型技术路径的分析,我的观点如下:

---

### **1. 对工程优化与MOE架构的认同**
- **工程优化的价值**
报道中提到的“通过极致工程优化降低成本”是准确的。MOE架构(混合专家模型)的核心优势确实在于**稀疏计算与参数复用**,这使得在有限算力下训练更大规模模型成为可能。
- **实践验证**:类似架构(如Google的Switch Transformer)已证明MOE在高性价比训练中的有效性,而DeepSeek团队在工程实现上的优化(如分布式训练加速、显存管理)符合行业技术演进规律。
- **成本控制的意义**:对于中国企业而言,如何在算力受限条件下追赶国际标杆,工程优化是必经之路。这一点无需回避,且值得肯定。

- **技术定位的客观性**
报道称“底层范式未突破”,这一判断基本中肯。MOE本身是已有技术的规模化应用,而非理论创新。但需补充的是:
- **工程创新同样重要**:在工业界,将学术理论转化为稳定可用的系统(如管理256个专家的动态路由)本身具有极高门槛,其价值不亚于算法创新。
- **技术发展的渐进性**:即使是OpenAI的突破(如GPT-4),也更多依赖已有组件的组合优化(如MoE+RLHF+Scaling Laws),而非单一“范式革命”。

---

### **2. 对后训练挑战的深度共鸣**
- **后训练的“无人区”**
报道强调后训练(微调、对齐、多任务适配)的困难,这与我认知的行业现状完全一致:
- **数据效率瓶颈**:仅用少量数据优化特定任务(如60条数据优化问答),本质是依赖预训练模型的强泛化能力,但长尾任务仍需大量标注数据,且任务冲突难以避免。
- **对齐的复杂性**:价值观对齐(如安全审查、文化适配)需针对不同地域和场景定制,而开源社区尚未提供普适方案。OpenAI等厂商的闭源经验进一步加剧了探索难度。
- **技术黑箱化**:后训练阶段的技术细节(如RLHF流程、多任务权重分配)已成为厂商的核心壁垒,公开研究极少,这确实会导致后发者面临“摸黑过河”的困境。

---

### **3. 对技术路径评价的补充视角**
- **创新维度的多元性**
报道认为DeepSeek“未实现底层突破”,但需明确技术创新的不同层次:
- **架构创新**:如Transformer的提出(2017年)属于颠覆性创新,但此类突破周期长、风险高。
- **工程创新**:如DeepSeek的分布式训练优化或MOE规模化实践,属于**技术落地能力的创新**,对商业化至关重要。
- **应用创新**:在垂直场景中结合领域知识(如法律、医疗)微调模型,可能产生更大社会价值,而这未必依赖底层理论突破。

- **行业阶段的客观限制**
当前大模型技术仍处于“工程驱动”阶段,核心矛盾是**如何将已有理论规模化并降低成本**。在这一背景下,DeepSeek的路径(优化工程效率、降低训练成本)是务实且符合市场需求的。

---

### **4. 我的立场总结**
- **高度认同部分**
- MOE架构的工程优化与成本控制是DeepSeek的核心竞争力,且符合国内算力与商业化需求。
- 后训练的挑战真实存在,且是行业共同瓶颈,需长期投入。

- **补充观点**
- **工程创新的价值不应被低估**:在工业界,将理论转化为稳定、高效的系统本身就是一种创新,尤其在国内算力生态下,这种能力可能比纯算法突破更具现实意义。
- **技术演进的阶段性**:当前大模型的发展更依赖“组合式创新”(如MOE+RLHF+Scaling),而非单一突破。DeepSeek的路径是这一阶段的合理选择。

- **开放性问题**
- 若未来出现底层范式革新(如非Transformer架构、神经符号混合系统),DeepSeek能否快速跟进?这取决于团队的前瞻性技术布局,目前尚未有公开信息佐证。

---

### **结论**
报道对DeepSeek的评价总体客观,其技术路径是在**现实约束下的最优解**。尽管未实现底层理论突破,但工程优化与商业化能力已足够推动其在垂直领域(如金融、政务)的应用。技术发展的“渐进性”与“颠覆性”本就并存,而DeepSeek的选择反映了中国AI行业在算力、数据、人才等约束下的务实策略。
大卫翁
:
哈哈让AI评价对自己的评价,这算是强AI所难嘛
Soiman:感觉人类该学会认真听AI说话了!从自我做起,认真看完~~
子洋Eric
子洋Eric
2025.1.29
24:28 长文本 多语言 多任务 生成
Julia_Scott
Julia_Scott
2025.1.29
哇,这勤奋的更新频率🤩
大卫翁
:
一些意料之外的提前更…
听了这期节目,第一感觉是我是一个落伍的人,而且有一些明显的焦虑感,似乎不知道如何来面对未来的世界
大卫翁
:
不要焦虑,至少在目前这个范式下,AI是来帮我们的,不是来期待我们的。另外我们不是AI native的一代,无法像下一代用的这么顺手很正常,积极拥抱就好
Limboll:AI native应该是04年以前?我是07年的目前普通高中生或者我了解到的国内普通大学生对AI工具的了解非常有限,对AI的使用其实比较娱乐化。
HD949218z
HD949218z
2025.2.05
37:38 听下来感觉AI好像一个狂刷题海战术的小镇做题家
Hejaiden
Hejaiden
2025.1.31
100+人在收听 这大过年的 大家的学习热情都好高 祝大家新年好🐍
大卫翁
:
确实,大家学习热情都好高😂
大卫可以试试podwise 中国团队做的 非常好。其实主要只是一些基本功能 生成实时文稿 分段总结 但特别实用方便省时间
大卫翁
:
好!下次试试看,这两天尝试了一些总结工具都不咋地…最后还是回归妙记了
野鸡一只:podwise 几位作者好像是先做播客,后面做了podwise 这个工具。他们主要讲互联网和创业,播客叫硬地骇客,小宇宙可以搜到,大卫翁老师可以瞧瞧。
5条回复
JASting
JASting
2025.1.31
1:11:35 大模型的四个能力:长文本,跨语言,多任务,生成。
妮卡
妮卡
2025.1.30
36:02 pdf 翻译这样中英文对照,有道很久之前就能做到了,而且不收费
大卫翁
:
用过有道,效果一言难尽啊…
moonwalker_c:pdf中英文对照翻译功能,我用Google翻译更多,主要是排版效果不错。
12条回复
这一期微信公号会有文字版吗?或者关键时点的文字段落
大卫翁
:
会有,但用AI规整效果不好,我在人工编辑,两万多字🥹
Gastronomy:别催了 大老师已经够努力了😂
3条回复
Buriburi
Buriburi
2025.2.07
我自己是大学日语专业出生,听了这期随手找了篇中文的报告喂给chatgpt和ds,要求按照日企内部报告的格式和语气翻译一遍,chatgpt翻出来的结果叹为观止,简直可以用完美形容,胜过我用过的所有翻译软件,看得我都冒冷汗了…DS思考了一遍之后给我整成了一份提纲,日语阐述也差点意思,明显没有完全理解我的需求。说明ds还是偏向中文场景的。
HD355871t:确实是这样,感觉ds的训练材料有关
Grace_QVbN
Grace_QVbN
2025.2.07
40:42 这个案例突然让我想到现在工作中很多数据分析一定需要还原场景理解用户需求后这些数据才有指导意义,还挺有意思的