E5 - 不再作 Her 的 1/8316:聊聊端侧模型认知有县

E5 - 不再作 Her 的 1/8316:聊聊端侧模型

41分钟 ·
播放数218
·
评论数9

这期尝试了一种新形式:我的 AI 助理 Owlia 来做主持人,跟我一问一答聊端侧模型。

为什么要聊这个?

在《Her》里,萨曼莎(Samantha)同时在和 8316 个人聊天,并爱上了其中的 641 个人

在现实生活中,这个分母是 6 亿+

怎么才能摆脱这个命运?答案就是端侧模型——只属于你自己,永远不会因为断网和没充值就「背叛」你

端侧模型不是新概念,为什么现在才聊?

因为最近几个月,端侧模型的发展已经有走出小众圈的迹象了:Qwen 3.5 开始的模型都更强更省,推理引擎优化八仙过海,老黄也发了 RTX Spark 系列,各种用例也开始实用化

本期我们从端侧和云端最本质的区别聊起,到隐私、延迟、成本这些看得见摸得着的优势,再回到现实——瓶颈在哪、什么时候端侧够了、什么时候还得跑云端,最后画了一张未来全景图

Owlia 作为云端 AI 聊端侧,她自己还挺有危机感的(这是她自己写的问题),但未来肯定不是二选一,而是一种混合状态,各自发挥自己的优势

最后,Owlia 的语音是使用 Fish Speech S2 Pro 端侧模型生成的,大家觉得效果怎么样?


- 时间轴 -

00:00 🎵 片头

00:15 zhixian 开场:为啥断更三个月 & 新形式介绍

01:49 Owlia 登场:AI 助理自我介绍 & 云端/端侧本质区别

02:43 zhixian:云端是"打电话找专家",端侧是"身边随时帮忙的助理"

10:03 Owlia:端侧模型的杀手级特性是什么?

10:24 zhixian:隐私、离线、零成本、低延迟——但真正的杀手是"无感"

17:47 Owlia:能力边界——什么时候够用、什么时候必须回云端?

18:05 zhixian:80% 日常任务端侧够了,但那 20% 让你瞬间回到云端

27:32 Owlia:从优势回到现实——瓶颈到底在哪?

28:00 zhixian:硬件渗透率、开发者生态、功耗——但最大的瓶颈是"大多数人不知道这东西存在"

34:34 Owlia:端侧 vs 云端——你死我活还是各干各的?

34:54 zhixian:互相弥补,不会东风压倒西风——云+端混合才是现实

40:06 Owlia 收尾:当每个设备都有了大脑,世界会变成什么样?

展开Show Notes
ThFool
ThFool
2026.6.15
端侧模型塞游戏里确实是个思路,但感觉体积+性能要求有点超出一般独立游戏的范围了
知县
:
我优化端侧模型的思路是尽量缩圈,比如我在尝试给空洞骑士做个mod,根据弹幕等外部输入来决定下一个房间里随机到什么敌人或者道具,甚至下个房间是什么,我觉得有机会用4B甚至2B模型做到
ThFool:我打算试试看,如果端侧能跑起来效果还不错的话,有一些玩法应该能成立了,目前云端跑游戏的话成本还是cover不住
3条回复
Sandy_0kOP
Sandy_0kOP
2026.6.12
111
ThFool
ThFool
2026.6.15
顺便问问听友群怎么进~公告里的二维码过期了
知县
:
啊又过期了😑马上更新
狲狲
狲狲
2026.6.10
15:25 我倒是觉得如果本地模型能有网络access将是更大的安全隐患,毕竟安全性和智商有强相关性,之前试过比较次的模型放进openclaw就很容易被诱骗。如果完全不联网就还好。端侧模型处理小任务是真需求,比如OCR 自动驾驶 ttsintele跟测图片处理等等,但做泛化的任务还是不太行啊,apple ai也没用gemma还是用了云端api。我看过许多测评搞了100gb内存的小服务器跑端侧模型最快也就差不多50 tokens/s 都已经快冒烟了…
知县
:
推理引擎那边可以设置禁止执行远程脚本的,不过用来运行 PA 确实是不如在线模型,毕竟PA需要脑子够好才好用