22
0大家好，欢迎收听播客「听懂 100 篇 AI 经典论文」
一个AI被丢进《我的世界》，没有手把手的教学，它能自己学会如何砍树、挖矿、制作工具，甚至最终挖到钻石，成为游戏大师吗？过去，这很困难。但今天我们要聊的 VOYAGER 做到了！它是一个基于大型语言模型（LLM）的智能体，能够在《我的世界》这样开放、复杂的环境中，无需人类干预，持续地探索、学习各种复杂的技能，并且不断有新的发现1...。它在探索新物品、攀升科技树和探索地图等方面，都远远超过了以往的方法1...。最酷的是，它学会的技能是可以复用的，并且可以在新的世界里帮助它更快地适应和解决问题
本期播客中你将听到 (Outline)
什么是VOYAGER？ 了解这个AI智能体在《我的世界》中“生存”的背景和目标。
VOYAGER 强大的秘密武器：
自动课程表： 它是如何知道下一步该学什么、做什么，确保学习过程既有挑战又不至于卡死？
技能库： 它学到的各种复杂操作是如何被记录、存储和重复使用的，让能力像滚雪球一样越滚越大？
迭代式提示机制： 当它尝试完成任务失败时，是如何从“错误”中学习，不断改进自己的行为（代码）的？我们会详细解析环境反馈、执行错误和自我验证这三种重要的反馈机制。
VOYAGER的表现到底有多强？ 对比其他AI方法，VOYAGER在发现新物品、解锁科技树、探索地图等方面的惊人成绩。
技能库的价值： VOYAGER学会的技能有多通用？它能在新世界里快速适应吗？甚至能帮助其他AI提升能力吗？
为什么需要GPT-4？ 探究强大的语言模型在VOYAGER中扮演的关键角色。
局限性与未来： 当前版本的VOYAGER还有哪些不足？未来的发展方向是什么？
关键概念速查 (Key Concepts Explained)
VOYAGER: 本期播客的主角，一个基于大型语言模型的具身终身学习智能体，设计用于在《我的世界》这类开放世界中自主探索、学习技能和发现新事物。
大型语言模型 (LLM): 如 GPT-4，VOYAGER利用其强大的世界知识、推理能力和代码生成能力来规划行为和生成可执行代码。
终身学习 (Lifelong Learning): 指智能体能够持续地从经验中学习、积累知识和技能，并且不会遗忘之前学到的东西。
自动课程表 (Automatic Curriculum): VOYAGER的一个核心组件，由GPT-4生成，根据智能体的探索进度和状态，自动提出新的、逐步进阶的任务或挑战，以最大化探索。
技能库 (Skill Library): 另一个核心组件，一个不断增长的可执行代码集合，存储着VOYAGER成功学会的各种复杂行为或技能。技能是可复用和组合的。
迭代式提示机制 (Iterative Prompting Mechanism): VOYAGER用来生成和改进技能（代码）的学习机制。通过与GPT-4互动，根据执行反馈（环境反馈、执行错误、自我验证）反复修正生成的代码，直到任务成功。
环境反馈 (Environment Feedback): 在执行代码过程中，从游戏环境获得的实时信息，例如“缺少某个物品”等，用于指导代码改进。
执行错误 (Execution Errors): 代码本身语法或逻辑错误导致程序无法正常运行的报错信息，用于代码调试.
自我验证 (Self-verification): 由另一个GPT-4智能体充当“裁判”，评估任务是否成功完成。如果失败，还会提供改进建议，是迭代学习中最重要的反馈类型之一。
《我的世界》科技树 (Minecraft Tech Tree): 游戏中的一个核心概念，代表了玩家从基础资源逐步解锁更高级工具、物品和能力的 progression 路径（例如从木质工具到石质、铁质，最终到钻石工具）
Mineflayer API: VOYAGER 用来控制《我的世界》游戏角色的JavaScript编程接口，它提供了一系列高层次的控制原语，使得AI可以通过代码直接与游戏环境互动，而不是处理像素画面。
了解更多 (Where to Learn More):
论文名称: VOYAGER: An Open-Ended Embodied Agent with Large Language Models"
原文地址：arxiv.org
VOYAGER
项目网站: voyager.minedojo.org
MineDojo项目: minedojo.org
