EP164｜AI 需要它的「个人电脑时刻」：在本地运行大模型

本期是 2026 年 10 月 22 日 Gannon University 一场演讲的完整中文配音版。主讲人现场拆解了一个大语言模型的文件构成，用大型机到个人电脑的历史类比论证 AI 正从集中式云端走向每个人本地拥有，并以 Claude Code 安全护栏在用户被黑客攻击时拒绝协助为例，说明本地开源模型对网络安全的意义。

本期内容

这期内容来自 2026 年 10 月 22 日 Gannon University 的一场演讲，主题是「AI 的个人电脑时刻」。主讲人先讲了一段计算机历史：最早的强计算设备巨大昂贵，普通人家里放不下，只能排队分时共享——用纸带送程序、在大学申请两小时机时、对机器毫无控制权；后来计算机变小变强向大众扩散，才变成人人拥有的个人电脑。他的判断是 AI 正在走同一条路：从集中式云端走向每个人本地拥有。

为了让人听懂「本地跑 AI」到底意味着什么，他现场打开了 Hugging Face 上的 DeepSeek LLM，展示其文件结构和一个普通游戏文件夹几乎一样：点进去就是文件夹和文件，上百个约 7GB 的权重文件，内容全是 0.123、0.778 这样的数字。他解释了这些数字的来源——把数据集喂给机器，让它根据前面所有字符计算下一个词的概率（比如选 AND 还是 OR），再按配置挑一个开始生成。他还举了巴黎的例子：互联网上大部分关于 Paris 的内容都是「法国首都」，所以模型学到的是词语共现的统计规律，而不是真的「知道」巴黎。

硬件门槛方面，他指出 128GB 内存就可以跑 AI 模型；近期出现突破——人们找到直接把模型构建/放在存储（SSD）上运行的方法，让成本大幅降低到约为过去做法价格的百分之一。这也是为什么节目方把两台各 128GB 统一内存的 DGX Spark 送到了 Gannon University，让开放权重模型在校园本地运行，而不是按 token 租用。

Q&A 环节转向网络安全。主讲人解释各大实验室会在你和真正的智能之间放一层「次级模型」（护栏），拦截任何可能威胁 OpenAI/Anthropic 业务的东西。具体例子：你想问 Claude Code「我该怎么保护我的家庭网络？」，这句话就会触发对方的安全传感器，导致模型停止运行、拒绝回答；更极端的场景是你此刻正在被黑客攻击、每分钟损失几千上百万美元，想问「我正在被黑」，得到的却是「我们无法帮你处理那个」。他承认这些限制有其合理性，类比为防火墙，但强调不希望吓唬观众。

最后他用一个亲身经历收尾：他去日本要办很多手续——家人来自波兰、他自己是美国人，文书工作非常多；如果不是能让 AI 替他搞定这一切（处理邮件、看医生等杂事），他根本走不了这趟行程，也就不会有今天这场对话。他用这个经历说明 AI 对生活而言是净收益，同时提醒「这些模型能力极强（正面和负面都要传达）」，没有回避风险，但总体判断是正面的。

核心观点

• AI 模型本质上就是一个文件夹，里面 99% 是数字（权重）；训练就是让机器在海量文本上练习"猜下一个词"，靠统计概率生成内容嘉宾现场打开 Hugging Face 上的 DeepSeek LLM，展示其文件结构和一个游戏文件夹几乎一样——点进去就是文件夹、文件和资源；上百个约 7GB 的权重文件，内容全是 0.123、0.778 这样的数字。他解释了这些数字的来源：把数据集喂给机器，让它根据前面所有字符计算下一个词的概率（比如选 AND 还是 OR），再按配置挑一个开始生成。他还举了巴黎的例子：互联网上大部分关于 Paris 的内容都是"法国首都"，所以模型学到的是词语共现的统计规律，而不是真的"知道"巴黎。

• AI 正经历和计算机一样的历史周期：从大型机分时共享走向每个人本地拥有，当前本地运行成本已降至过去的约百分之一嘉宾用早期计算机的历史类比：刚变强时非常巨大，普通人家里放不下，只能做分时共享——用纸带送程序、在大学排队申请两小时、对机器毫无控制权，这种模式只对政府和大型企业有利。后来计算机变小变强向大众扩散，现在人人都有电脑。他说 AI 正经历同样的过程：从集中式云端走向每个人本地拥有。硬件门槛方面，他指出 128GB 内存就可以跑 AI 模型；近期出现突破——人们找到直接把模型构建/放在存储（SSD）上运行的方法，让成本大幅降低到约为过去做法价格的百分之一（one hundredth the price）。

• 【反直觉】云端大模型（如 Claude Code）内置的安全护栏会在关键时刻拒绝帮你——比如你正在被黑客攻击、每分钟损失百万美元时，它会说"我们无法帮你处理那个"大家原来以为大家原来以为：越强大的 AI 助手在任何时候都能帮到你，安全限制只是针对明显恶意用途的小障碍，不会在紧急情况下卡住你。嘉宾解释了各大实验室会在你和真正的智能之间放置一层"次级模型"（护栏），用来拦截任何可能威胁 OpenAI/Anthropic 业务的东西——包括生成不良内容、试图使用网络攻击能力等。他给了一个具体例子：你想用 Claude Code 问"我该怎么保护我的家庭网络？"，这句话就会触发对方的安全传感器，导致模型停止运行、拒绝回答。然后他推演了一个更极端的场景：假设你此刻正在被黑客攻击，每分钟损失几千上百万美元，想问 Claude Code "我正在被黑"，结果触发安全传感器得到"我们无法帮你处理那个"的回答——你就来不及止损。他承认这些限制有其合理性（"这是一种保护，我们必须有保护"），类比为防火墙，但强调不希望吓唬观众。

• AI 对生活而言是净收益（net benefit）——它能帮你处理大量杂事，让你把精力集中在真正重要的事上嘉宾用了一个个人故事：他去日本要办很多手续——家人来自波兰、他自己是美国人，文书工作非常多；如果不是能让 AI 替他搞定这一切（处理邮件、看医生等杂事），他根本走不了这趟行程，也就不会有今天这场对话。他用这个亲身经历说明 AI 是净收益，我们能把大量问题外包出去。同时他也提醒"这些模型能力极强（正面和负面都要传达）"，没有回避风险，但总体判断是正面的。

嘉宾

• SPEAKER_00（姓名不详）（嘉宾）：本期主讲人，2026 年 10 月 22 日在 Gannon University 发表演讲，主题是在本地运行 AI（AI 的个人电脑时刻）。曾向 Gannon University 捐赠 2 台各 128GB 统一内存的 DGX Spark，让开放权重模型在校园本地运行。美国人，家人来自波兰。

• SPEAKER_01（姓名不详）（主持人）：现场提问者/对话嘉宾，关注网络安全领域，了解 Hugging Face、Anthropic、OpenAI 的模型及 Daybreak 等公司。

技术背景

分时共享与个人电脑的历史周期

早期大型机时代，多个用户排队轮流使用同一台计算机，用户对机器无控制权，这种模式只对政府和大型企业有利。后来计算机变小变强向大众扩散，才变成人人拥有的个人电脑。本期用这段历史类比 AI 的现状：当前 AI 仍像分时共享时代的集中式云端，而本地运行成本已降至过去的约百分之一，正在向「每个人本地拥有」的方向走。

大语言模型的本质：文件夹+数字权重

一个大语言模型本质上就是一个文件夹，里面 99% 是数字（权重）。本期现场打开 Hugging Face 上的 DeepSeek LLM 展示：点进去就是文件夹和文件，上百个约 7GB 的权重文件，内容全是 0.123、0.778 这样的数字。训练就是把这些数字找出来——把数据集喂给机器，让它根据前面所有字符计算下一个词的概率，再按配置挑一个开始生成。

下一词预测（next-token prediction）

大语言模型的生成原理是基于统计预测下一个词。模型根据前面所有字符计算候选词的概率分布（比如选 AND 还是 OR），再按配置挑一个输出。它学到的是词语共现的统计规律，而不是真的「知道」某件事——比如互联网上大部分关于 Paris 的内容都是「法国首都」，所以模型输出「法国首都」是因为这个词组在语料里高频共现。

SSD/RAM/GPU 存储层级与从存储直接运行模型

本地运行 AI 涉及 SSD（存储）、RAM（内存）和 GPU（计算）三个层级。传统做法是把模型加载到 RAM 再交给 GPU 计算；近期的突破是人们找到直接把模型构建/放在存储（SSD）上运行的方法，绕过了对大量 RAM 的需求，让本地运行成本大幅降低到约为过去做法价格的百分之一。这也是 128GB 内存就能跑 AI 模型的硬件门槛背景。

开放权重模型与 Hugging Face

开放权重模型指公开发布权重的模型，任何人都可以下载并在本地运行，如 DeepSeek、GLM、Gemma。Hugging Face 是公开托管和发布 AI 模型的平台，本期现场用它来展示 DeepSeek LLM 的文件构成。GLM 是嘉宾提到的可本地运行的开源模型，Hugging Face 用它来防御和保护自己的服务。

云端模型的安全护栏（guardrails）

各大实验室会在用户和真正的智能之间放置一层「次级模型」（护栏），用来拦截任何可能威胁 OpenAI/Anthropic 业务的内容——包括生成不良内容、试图使用网络攻击能力等。具体例子：Claude Code 在用户问「我该怎么保护我的家庭网络？」时会触发安全传感器、停止运行并拒绝回答；更极端的场景是用户正在被黑客攻击、每分钟损失几千上百万美元，想问「我正在被黑」，得到的却是「我们无法帮你处理那个」。本地开源模型被视为一种你自己控制的防火墙。

时间戳

• 00:00 磊哥导读：AI 的个人电脑时刻

• 06:27 本地运行 AI：从大型机到个人电脑的类比、模型原理与网络安全应用：主讲人以大型机分时共享→个人电脑普及的历史类比主张 AI 应在本地运行；现场演示 DeepSeek LLM 在 Hugging Face 上的文件构成（99% 是数字）、训练数据（网络安全数据集）和「猜下一个词」原理，解释 SSD/RAM/GPU 存储层级与把模型放到存储上运行的突破（成本降至约百分之一）；嘉宾追问为何本地跑 GLM 对网络安全重要，主讲人以 Claude Code 在用户被黑客攻击时会触发安全传感器拒绝帮忙为例说明云端模型的局限，并用自己去日本的文书故事强调 AI 是净收益，最后重申「继续分时共享还是造个人电脑」的选择。

术语表

• time sharing（分时共享）：早期大型机时代多个用户排队轮流使用同一台计算机的模式，用户对机器无控制权。本期用它类比当前 AI 的集中式云端状态。

• punch cards（打孔卡）：早期计算机用来输入程序的介质。本期在讲大型机时代分时共享体验时提到。

• LLM (Large Language Model)（大语言模型）：基于统计预测下一个词的语言模型，如 DeepSeek、GLM、Gemma。本期核心讨论对象。

• Hugging Face：公开托管和发布 AI 模型的平台。本期现场用它展示 DeepSeek LLM 的文件构成。

• DeepSeek：一个公开的大语言模型，权重文件每个约 7GB、共上百个文件。本期现场演示的对象。

• GLM：嘉宾提到的可本地运行的开源模型，Hugging Face 用它来防御和保护自己的服务。

• Gemma：Google 的开放权重模型，文中作为引擎示例。

• Claude Code：Anthropic 的编程助手工具，文中作为安全护栏拦截的例子——用户问「我该怎么保护我的家庭网络？」会触发安全传感器被拒答。

• secondary models / guardrails（次级模型/护栏）：各大实验室放在用户与真正智能之间的一层过滤模型，用于拦截威胁其业务的内容。本期用它解释云端模型为何会在关键时刻拒绝协助。

• DGX Spark：NVIDIA 的小型本地 AI 计算设备，节目方在 Gannon University 赠送了 2 台，各 128GB 统一内存。

• Daybreak：嘉宾提到的一家网络安全相关公司（原文识别不清）。

• open-weight models（开放权重模型）：公开发布权重、可本地下载的模型，与按 token 租用的云端 API 相对。本期论证的核心对象。

• next-token prediction（下一词预测）：大语言模型的生成原理：根据前面所有字符计算下一个词的概率分布，再按配置挑一个输出。

• running LLMs from storage（从存储直接运行大模型）：近期突破：把模型直接构建/放在 SSD 上运行，绕过对大量 RAM 的需求，让本地运行成本降至约百分之一。

延伸阅读

• 0xSero 在 X 上的主页（主讲人社交账号）

原节目： 。

本节目为英文原节目的中文译制，每位说话人都用自己的声音说中文，观点以原节目为准。

原节目：We Gave Away 2 DGX Sparks at Gannon University | Running AI Locally

原节目发布时间：2026-10-27