12
0以下内容由艾斯派索(www.aispresso.com.cn)出品 大家好，欢迎收听本期技术简讯。今天我们将带来多项AI领域的最新动态，涵盖了从边缘AI推理、智能体平台到研究前沿的突破。一起来看。
AI 代理正从云端走向车辆、机器人等边缘设备。与聊天机器人不同，代理需要一步步推理：选择工具、评估结果、在越来越长的对话中持续思考。这对边缘推理提出了新要求：快速生成 token、高效处理长上下文、并在有限功耗内精准调用工具。在 MLPerf 边缘代理基准测试中，NVIDIA TensorRT Edge-LLM 在单块 Jetson AGX Thor 上运行了 Qwen3.6-27B 模型，达到每秒 52.33 个 token，1007 轮对话仅用 24 分 36 秒，比 llama.cpp 的参考提交快了 6.4 倍。这一成绩离不开三大技术：NVFP4 量化、KV 缓存复用和树形多 token 预测。NVFP4 是 Jetson AGX Thor 上 Blackwell GPU 支持的 4 位浮点格式，既压缩了权重和激活，又保留了足够精度，让模型更小、解码更快。KV 缓存复用则像给推理过程装上记忆助手：每次新的请求都包含前面大部分对话，系统识别出可复用的前缀，直接恢复注意力缓存，只需处理新增部分。在本测试中，约 96% 的 prompt token 都命中了热缓存，避免了大量重复计算。树形多 token 预测更进一步：标准解码一次只生成一个词，而树形 MTP 会同时推测多个候选路径，再用目标模型一次性验证。对于函数调用这种场景——工具名称、JSON 语法往往有固定模式——树形分支能保留多种可能的参数值，显著提升解码效率。相比线性 MTP，树形 MTP 为这个工作负载带来了额外 40% 的解码性能提升。这三项优化相辅相成：量化减轻内存压力，缓存减少预填充成本，树形预测减少生成步骤。最终让边缘设备上的 AI 代理推理又快又准。开发者可以在 TensorRT Edge-LLM 的开源分支中找到完整实现，从模型导出到服务器启动都有详细指引。边缘 AI 代理的高效推理，从此有了新的标杆。
原型搭建只需一个下午，但真要把智能体部署到生产环境，麻烦才刚开始。当智能体需要服务多个用户时，并发、会话隔离、身份认证、状态持久化、扩容和安全防护这些工程层，每个团队都得从零重建。结果就是实验和生产之间存在巨大鸿沟——行业调查发现，88%的AI概念验证从未大规模部署。失败原因不是模型不行，而是架构问题：缺乏可观测性、治理混乱、基础设施重复。Wood Mackenzie 的 APEX 平台正是为了解决这个痛点而生的。APEX 是一个共享智能体平台，基于 Amazon Bedrock AgentCore 构建。AgentCore 提供托管运行时，团队无需管理集群；它支持任何开源框架和模型，从 Claude 到 GPT-4.1，可以随时替换而不用改业务逻辑；还能自动从零扩展到数千并发，会话隔离时长可达8小时。更重要的是，它内置了内容过滤、PII检测和策略执行这些护栏能力，并且把身份认证注入每一次智能体调用。APEX 平台分为前端 SDK 和后端运行时。前端通过 AG-UI 和 A2UI 协议实现生成式UI，智能体可以返回动态组件，而不是纯文本。后端通过统一的 AgentCore Gateway 采用集线器-辐条模型，所有应用和工具都连到同一个网关，跨领域的身份、可观测性、限流和合规只需在中心执行一次。APEX Studio 则是控制面板，团队可以在上面拖拽构建智能体、设计工作流、测试和监控，无需接触底层基础设施。举个例子，在 Lens 应用中，用户用自然语言问“哪些国家可再生能源装机量最高”，智能体会调用工具读取仪表盘小部件的数据，然后直接在对话中渲染出排名表格。另一个内部工具 Woody，分析师只需一句指令“研究伊朗冲突对油价的影响，生成图表和PPT”，智能体就会依次调用网络搜索、自有数据集MCP连接器、图表工具和PPT生成器，最终交付带交互图表的演示文件。整个过程中，身份、护栏和追踪都统一在平台层面执行。Wood Mackenzie 的平台工程遵循六个原则：可组合积木、飞轮效应、抽象无差别工作、组件化复用、解耦演进和价值复合。随着更多团队加入，下一个智能体的边际成本持续下降。而未来方向是多智能体系统，APEX 已经内置对 A2A 协议的支持，智能体之间可以相互委托和协作，每个跳转依然携带同样的身份和护栏。总之，APEX 让团队把精力放在业务逻辑上，而不是再次重建身份认证、记忆和可观测性。这就是共享平台的力量。
在构建RAG解决方案时，选择合适的向量存储直接影响性能和成本。Amazon Bedrock Knowledge Bases支持三种客户托管后端：Amazon OpenSearch Service、Aurora PostgreSQL搭配pgvector，以及全新的Amazon S3 Vectors。它们各有擅长。针对产品目录搜索，OpenSearch Serverless表现突出。测试中，使用512维浮点向量，NDCG质量与1024维几乎持平，但索引大小减半，P50延迟仅25毫秒。混合搜索还能进一步提升召回质量。对耗时较长的深度研究代理，S3 Vectors是经济之选。它可将向量存储成本降低高达90%，查询延迟随规模呈亚线性增长。在100万向量规模下，P50延迟约294毫秒，对研究场景完全可接受。对于客户聊天机器人，Aurora PostgreSQL提供平衡方案。它能快速切换HNSW和IVFFlat索引，P50延迟约32毫秒，适合需要结合关系查询的场景。选择时，先分析应用特征：实时搜索首选OpenSearch；成本敏感的大规模存选取S3 Vectors；需要关系数据联查则用Aurora。也可以采用分层架构，用S3存储全集，用OpenSearch服务高频子集。关键是针对自己的数据做基准测试，找到最匹配的方案。
工业安全AI面临一个棘手的问题：如何让模型识别那些极其罕见却致命的高风险场景？比如工人站在重型机械的盲区，或者孩子靠近正在作业的农机。这些数据不仅难以收集，而且危险重重。为了解决这个训练数据饥荒，亚马逊云科技推出了一个端到端的合成数据增强方案，基于Amazon SageMaker AI和Amazon Rekognition。整个过程分为两大步：首先，使用部署在SageMaker上的扩散模型Qwen-Image-Edit，将合成的人物逼真地插入到真实的机械场景图中，并保持原有光影和比例；然后，利用Amazon Rekognition的自动识别功能，为这些合成人物生成精准的标注框。这样一来，原来需要耗费几周甚至几个月才能标注的数据，现在几小时就能完成。实验结果显示，仅需750张合成图像，就能让人员检测的平均精度提升160%，召回率翻倍。更重要的是，所有改进都在适合边缘部署的中型模型上实现，完全无需人工标注或危险的现场拍摄。这套方案不仅适用于铁路、农业、建筑业，还可以快速迁移到仓库、制造等其他场景。只需调整提示词中的位置指令，就能生成不同危险姿态的训练样本。对于工业安全来说，这意味着更低的成本、更高的安全性，以及更快的模型迭代速度。
大型语言模型的能力越来越强了。它们能写代码、解读文档、使用工具、规划多步任务，甚至能适应不断变化的指令。看着一个强AI代理从头到尾解决复杂问题，简直让人感觉像是质的飞跃。演示确实令人震撼，但生产环境完全是另一回事。关键不再是证明代理能完成一次任务，而是要确保它在上下文很长、工具不可靠、指令不完整，而且没人盯着每一步的时候，表现依然可接受。这就是AI代理的‘最后一英里’。 为什么这么说呢？因为能力不等于信任。一个代理足够聪明给出正确答案，并不代表它能可靠地控制真实的工作流。演示通常条件完美——目标明确、环境干净、工具正常、还有人实时干预。可生产系统哪有这好事？客服代理可能收到不完整的请求，编程代理遇到的仓库文档可能自相矛盾。就算模型给出流畅的回复，这流畅感也不能证明底层状态正确。代理的声音听起来很自信，但它的世界视图可能是残缺的。 长上下文带来新的可靠性问题。上下文越长，代理能记住更多指令、文档和对话历史，但这不代表推理更可靠。长上下文里混着过时的事实、重复信息、冲突指令、低质量检索结果，甚至中间步骤犯的错。模型得自己判断哪些重要、哪些权威、哪些该忽略。一旦上下文膨胀，代理可能分不清某个结论是来自前面的假设还是已经验证的事实。它会把一个失败的调用当作成功，把推测当成工作记忆，进而影响后续所有决策。这种失败往往不是明显的幻觉，而是一个看似合理的推论，但根基错了。这才是长上下文危险的所在——它看起来不像失败，直到结果输出到现实世界。 最后一英里其实是系统问题，光靠模型聪明没用。它涉及任务范围怎么定、代理能调用哪些工具、超时怎么办、状态怎么存、输出如何验证、什么情况下需要暂停审批、错误怎么记录、操作能不能撤回、人类怎么复盘整个过程。一个很厉害的模型放在糟糕的系统里，照样出不可靠的结果。甚至模型越强，操作风险越大，因为人们更容易信任它。当代理大多数时候表现很好，偶尔的失误就被忽视了。我们的目标不是让代理完美无缺，而是让它的失败可控、可见、可恢复。 那些听起来很无聊的安全措施其实很重要。系统应该确认操作真的完成了再报告‘完成’，比如代理创建工单后要收到确认ID。高风险操作需要更强验证或审批。其他措施包括：使用严格的输入输出模式、让操作幂等、设置超时和重试、在状态变化前保存检查点、保持最小权限、把规划与执行分开、用确定性验证器检查关键条件、保留审计日志。这些措施不会让模型更聪明，但会让周围系统更诚实，知道模型知道什么、不知道什么。 每个生产代理都应该有个最低行为契约：没有确认就不能声称操作成功；不能编造信息来完成工作流；关键工具失败后不能继续静默执行；不可逆操作必须获得必要批准；必须保留足够状态让人类恢复任务；要清晰区分事实、假设和估计；当前状态不可信时要停住。没有这个底线，团队只能靠个人警惕，发现异常后翻日志、手动修复，祈祷别再发生。这不可扩展。 人工监督不是暂时的弱点。更好的做法是把人类判断放在价值最高的地方。代理做探索、准备、重复工作，人类保留对模糊决策、高影响操作和异常情况的控制权。这不是自治的失败，而是合理的责任分配。生产就绪不是二选一的问题，不是要么完全信任要么不用。生产就绪的代理仍然会犯错，但错误被权限限制、被检查发现、被边界约束、并且可以通过已知流程恢复。代理不需要事事都对，它需要在报告什么问题时可靠，在改变什么时谨慎，对不确定的保持透明。 最后一英里就是建立信任的地方。能力吸引目光，可靠性赢得采用。这工作就是给强大的模型套上可靠的系统：保守的默认值、明确的边界、验证、回退、可观测性、清晰期望。这些安全措施看起来可能很无聊，比不上一百万token上下文的模型或者操作复杂应用的炫酷，但正是它们让那些能力得以进入生产环境，而不需要每个用户都变成全职监督员。AI代理的未来不只取决于它们能做什么，还取决于它们出错时能多安全地处理。
想象一下：一个模型预测你92%的概率会再次住院，它给出的理由是“年龄、既往住院次数、用药依从性”。但当你追问“为什么是这个病人、这个星期？”技术回答却变成了系数乘以特征值，保留四位小数。没错，但毫无用处。这正是可解释AI至今未能攻克的难题。问题不在于计算答案，而在于向真正需要行动的人解释清楚，还不让解释听起来比实际更确定。2015年，DARPA启动了可解释AI项目，明确目标：让最终用户理解、恰当信任并有效管理AI系统。因为医疗、司法、信贷这些领域，不能容忍那些整体准确但个案无法解释的决策。目前有LIME、反事实解释、注意力图等多种方法。但它们单独都无法回答最关键的问题：为什么我，作为医生或监管者，应该相信这个解释？以最常用的SHAP方法为例，它基于博弈论中的夏普利值，把预测公平地归因到每个特征上。简单来说，就像拆解一次考试得分：学习、睡眠、练习各自贡献了多少？但SHAP不是因果解释。一个特征贡献了0.18，不代表减少这个特征就会降低风险。它只是模型学习到的相关性，不一定真实。这就是沟通鸿沟：工程师能流畅阅读SHAP数值，但护士、病人、贷款官员看不懂。而且很容易不自觉地滑入因果表述，仿佛某个特征导致了结果。为了桥接这个鸿沟，一个小型开源库narrashap做了三件事。它把SHAP数值转化成自然语言叙述：比如“该患者的预测风险高于人群平均水平，主要驱动因素是既往住院次数，处于第92百分位……”。叙述里明确说明这是模型如何预测，不是真实病因。它还做了三件重要的细活：第一，自动检查生成文本，禁止因果短语，甚至要处理好否定句的细微差别。第二，检查叙述是否忠实于原始归因，有没有夸大或遗漏。第三，根据受众调整术语和语气，但守住不确定性的底线。当然，这些都不是完美答案。可解释AI的未来不是“更多解释”，而是“更好的解释”——忠实、恰当不确定、让真实受众看得懂，同时诚实面对自身的局限。这正是narrashap所代表的诚实努力：从“我们有解释”走向“我们有可以信任的解释”。
研究人员发表论文，代码却常常被锁在PDF里，读者得克隆、安装、配置、调试，非常麻烦。现在，斯坦福大学的团队带来一个解决方案——Paper2Agent。他们把这个项目发表在Nature上，核心思路是：将论文和它的代码库打包成一个MCP服务器。什么是MCP？简单说，就是一种通用协议，让AI代理可以调用工具。这样一来，任何兼容MCP的代理，比如Claude Code，只需要用自然语言说一句话，就能执行论文里的方法、复现结果，甚至跑在新的数据集上。这相当于给论文配了一个虚拟的“通讯作者”。工作流程分为六步：自动下载代码、搭建隔离环境、扫描教程、执行教程并记录输出、把教程变成可调用的工具、最后组装成MCP服务器。验证非常严格：输出的文件和数值必须匹配原论文，误差不超过3%，图片相似度哈希距离小于20。如果某个函数连续六次验证失败，就会被排除。测试结果相当亮眼。以AlphaGenome为例，Paper2Agent在45分钟内构建了22个工具，成本只要14美元，全部通过验证。和传统方法对比，速度提升1.9倍到3.1倍。在100篇bioRxiv生物论文中，74篇成功转化为代理，总计599个工具里有593个通过验证。更厉害的是跨领域能力：它处理TabPFN、SAM2等10篇非生物论文，准确率达到98.1%；处理26篇数据密集型论文，资源层准确率89%，而且成本低了35倍，速度快了15倍。Paper2Agent还能完美拒绝无关查询，并且从各种错误中恢复。实际应用中，它帮助研究者找到了银屑病的一个潜在因果基因GPR137，这是三个论文代理协作的结果。总之，Paper2Agent让论文的可复现性大大提升，降低了使用门槛。代码采用MIT许可，在Hugging Face上就能直接体验。这也许就是未来科研的基础设施。
想象一下，你搜索‘露营装备’，结果返回的是10个几乎一模一样的帐篷——这可太让人抓狂了。在推荐和检索系统中，我们真正想要的是帐篷、睡袋、炉头和头灯，是一套多样化的结果。谷歌研究院最近推出的R4T——全称是Retrieve-for-Train，正是为解决这个问题而来。它的核心思路是：利用强化学习离线训练一次，学会如何生成好的子查询，然后将这个能力蒸馏到一个仅仅5300多万参数的扩散模型中。这样，在推理时，模型就能一次性地生成所有检索方向，无需逐个生成子查询。传统的查询扇出存在两大问题：一是‘同义反复崩溃’，比如对‘波西米亚节日风格’，模型可能生成‘波西米亚节日时尚’和‘节日波西米亚服装’，几乎同义，导致检索结果单一；二是延迟高，自回归生成加上反复检索，速度很慢。R4T设计了三个步骤：第一步，训练一个扇出语言模型生成多个子查询；第二步，让这个模型为每个查询采样多个扇出结果，形成训练数据；第三步，训练一个扩散模型来直接预测所有目标嵌入的集合。奖励函数设计也很有趣，包含了基础性、多样性和对齐性三个分量，有效防止了奖励作弊。实验结果显示，在Polyvore时尚数据集上，R4T扇出语言模型的平均得分从最佳N采样的40.9提升到了49.1，多样性从56.0跃升到76.8。更惊艳的是效率——在批量大小为1024时，传统自回归扇出需要近50秒，而扩散模型仅需4.21秒，实现了12到20倍的加速。这意味着，大型系统可以在不牺牲质量的前提下，极大地降低检索开销。R4T的思路很清晰：离线训练一次，在线极速推理。对于那些需要处理海量查询、要求高多样性和低延迟的应用来说，这无疑是一大福音。
今天要聊一个信息提取领域的新利器——Knowledgator团队发布的GLiFormer。它是一个基于编码器的框架，能同时搞定命名实体识别、文本分类、关系抽取，还能直接输出嵌套的JSON结构。所有任务只需一个模型，而且不需要像大语言模型那样逐个token生成输出。目前有两个版本，Base版有2.64亿参数，Large版有5.75亿参数。两个模型都已经开源，Apache 2.0协议，pip install gliformer就能用，CPU和GPU都支持。那它解决了什么问题呢？传统的信息提取通常要串联多个模型：一个做实体识别，一个做分类，还有一个做关系抽取。GLiFormer团队认为，这些任务的核心其实是一样的：先把源文本编码，再表示出用户想要的概念，最后打分匹配。大语言模型虽然能直接输出JSON，但它是逐字生成的，速度慢、成本高。GLiFormer的巧妙之处在于，它完全跳过了生成token这一步。工作原理上，GLiFormer基于GLiNER改进，引入了一个叫“锚点”的概念。每个标签都会跟锚点进行匹配。对于同一个文档，编码一次，多个不同的提取模式可以在共享编码上并行运行。比如做命名实体识别时，模型会为每个token和标签对打分，判断是否是实体的开始、结束或者内部。因为用了独立的sigmoid输出，嵌套实体和共享边界也能正确处理。结构化输出则分为四个阶段：首先从原文抽取字段值作为文本片段，然后用匈牙利匹配算法将片段分配到记录槽位，再预测有向的父子链接，最后用确定性解码器组装成嵌套JSON。这样模型就不会凭空发明原文中没有的内容。性能方面，在500个嵌套JSON提取测试上，Large版达到了91.10的F1评分，非常接近GPT-5.6-luna的91.96，而且评价指标是宽容的，不要求精确JSON匹配。分类任务上，Large版在13个数据集上平均宏F1为75.03，超过了GLiNER2.5。速度更是亮点，Base版在NVIDIA RTX PRO 6000 GPU上，处理40个结构化文档的批量中位延迟只有69毫秒。如果跟LLM的理论速度相比，GLiFormer可达95倍加速。当然，关系抽取上它目前还略逊于专用的GLiNER-Relex和更大的LLM。总的来说，GLiFormer用一个编码器囊括了NER、分类、关系、结构化JSON和文本嵌入，性能出色，速度极快，特别适合需要自托管、低延迟的场景。如果你正在做文档信息提取或者数据流水线，这个开源项目值得一试。
2026年，一股新的潮流正在开发者群体中悄然兴起——越来越多的人开始选择本地优先的AI和注重隐私的硬件，挑战云端巨头的主导地位。原因很实际：高昂的成本、对实时响应的苛刻要求、越来越严格的数据隐私法规，以及对数据主权的担忧。比如，一家每天处理1000万次模型推理的初创公司，如果依赖云GPU，每月可能要花5万美元；而转向本地集群，成本可以降到1万美元以下。延迟也是关键——机器人、AR/VR、自动驾驶这类场景，需要毫秒级响应，将数据往返云端根本来不及。硬件方面，苹果的M系列芯片、高通的Cloud AI 100 Ultra等消费级加速器，让开发者可以直接在笔记本电脑或手机上运行模型。再加上安全飞地技术和RISC-V开源芯片的兴起，开发者能够构建从芯片到应用的完全可控栈。在架构上，常见模式有：嵌入式推理、私有计算集群和混合部署——云端训练、本地推理。工具链也在完善，像TensorFlow Lite、PyTorch Mobile支持模型量化，大幅降低显存需求。当然，本地计算也有挑战：硬件前期投入高、维护负担重、扩展性受限。但对于敏感数据或严格延迟要求的场景，这些权衡是值得的。未来，去中心化训练网络与机密计算平台将加速融合，形成一个开发者掌控数据、计算和创新全周期的智能层。如果你也想尝试，建议先评估管线中哪些环节适合本地执行，审计当前云支出，然后用轻量模型原型验证。工具已经就绪，时机正好。
以上是本期的全部内容。从边缘推理的性能飞跃到智能体平台的工程实践，从可解释AI的深入思考到本地优先的趋势，AI技术正在各个维度加速演进。感谢收听，我们下期再见。
