欢迎收听 xRunda AI Lab 的读论文播客：《 VOYAGER：具有大型语言模型的具体式代理》 本期领读员：苹果 论文标题：Voyager: An Open-Ended Embodied Agent with Large Language Models 论文地址：arxiv.org 00:00 总结本文的引言 在这项工作中，我们介绍了VOYAGER，它是第一个由LLM驱动的体现终身学习代理，利用GPT-4不断探索世界，发展越来越复杂的技能，并在没有人工干预的情况下不断地做出新发现。VOYAGER在发现新物品、解锁Minecraft科技树、穿越不同地形以及将其学到的技能库应用于新实例化世界中未见过的任务方面表现出卓越的性能。 00:28 本文的贡献是什么 本文的贡献是介绍了VOYAGER，它是由LLM驱动的体现终身学习代理。VOYAGER利用GPT-4不断探索世界，发展越来越复杂的技能，并在没有人工干预的情况下不断地做出新发现。VOYAGER在发现新物品、解锁Minecraft科技树、穿越不同地形以及将其学到的技能库应用于新实例化世界中未见过的任务方面表现出卓越的性能。 00:57 具身代理在自动代理中是怎么工作的？ 具身代理在自动代理中通过自动课程、技能库和迭代提示机制来工作。自动课程提供开放式探索的目标，促使代理学习和探索。技能库用于存储和检索复杂的行为，代理通过不断改进程序并将其合并到技能库中来提高自己的能力。迭代提示机制通过环境反馈、执行错误和自我验证来引导代理的学习和改进。 01:27 VOYAGER一共有多少个新颖的组件？ VOYAGER一共有三个新颖的组件。 01:32 总结一下消融研究 在消融研究中，研究人员消除了VOYAGER中的六种设计选择，包括自动课程、技能库、环境反馈、执行错误、自我验证和使用GPT-4进行代码生成。他们研究了这些选择对探索性能的影响。研究结果表明，VOYAGER在探索新物品、掌握Minecraft技术树、穿越不同地形以及应用于新任务方面表现出卓越的性能。 02:00 迭代提示的机制是什么 迭代提示机制是一种通过反馈和自我改进的循环过程，用于改进生成的代码。它包括执行生成的程序以获取观察结果和错误跟踪，将反馈纳入提示以进行代码细化，并重复该过程直到任务完成。这种机制可以帮助提高程序的质量和效果。 02:22 考虑预算的话，应该用哪款GPT？ 根据文本内容，如果考虑预算的话，应该使用GPT-3.5而不是GPT-4来执行标准NLP任务。 02:34 使用GPT的成本到底如何？ 我们选择使用GPT-3.5而不是GPT-4来执行标准NLP任务，这是出于预算考虑。我们相信GPT API模型的改进以及用于微调开源LLM的新技术将在未来克服这些限制。 02:53 什么叫通才智能体 通才智能体是指具有广泛学习和适应能力的智能体。它可以通过学习和经验积累来解决各种任务，并能够在不同的情境中灵活应对。通才智能体具有构建技能库、自我验证和迭代改进等机制，以不断提升自身的能力。 03:13 涌现在这个项目里有什么作用？ VOYAGER 在发现新物品、解锁 Minecraft 科技树、穿越不同地形以及将其学到的技能库应用于新实例化世界中未见过的任务方面表现出卓越的性能。 03:28 这个技术是如何做到将新技能不断添加到技能库的？ 为了将新技能不断添加到技能库中，我们使用了一种迭代提示机制。这个机制包括执行生成的程序以获取观察结果和错误跟踪，将反馈纳入提示以进行代码细化，并重复这个过程直到任务完成。完成后，我们将程序提交到技能库并查询下一个里程碑的自动课程。通过这种迭代提示方法，我们能够改进程序合成，并不断获得新的技能。 03:59 人类在整个实验过程中的作用有哪些？ 人类在整个实验过程中的作用有两种方法：作为评论家和作为自动课程。作为评论家，人类向VOYAGER提供视觉评论，帮助纠正3D结构中的错误。作为自动课程，人类将复杂的构建任务分解为更小的步骤，指导VOYAGER逐步完成任务。 04:22 GPT为什么可以不断改进这个项目 VOYAGER 通过迭代提示机制不断改进程序，将其作为新技能合并到技能库中，并通过嵌入其描述对其进行索引。通过不断扩展和完善技能库，VOYAGER 可以学习、适应并在广泛的任务中脱颖而出，不断突破其在开放世界中的能力边界。 04:44 这个项目里是如何运用思维链的？ 在这个项目中，思维链被用于生成推理轨迹和行动计划。代理通过提供环境反馈和代理状态作为观察来与思维链进行交互。 04:58 本文采用的方法 本文采用了VOYAGER方法来进行探索性学习。VOYAGER是一种基于大型语言模型（LLM）的代理方法，它利用预训练的LLM中的世界知识来生成一致的行动计划或可执行策略。在这个方法中，我们使用GPT-3.5来生成代码，并通过迭代提示机制来不断优化生成的程序。我们还使用自动课程来指导代理进行开放式探索，并使用技能库来存储和重用已学习的动作程序。与其他方法相比，VOYAGER展示了更好的探索性能和技术树掌握能力。 05:37 论文结论 根据论文的结论，VOYAGER是一个基于GPT-4的代理学习系统，可以在Minecraft中进行复杂的3D建筑任务。通过使用自动课程、技能库和人类反馈，VOYAGER能够不断探索新的项目，并逐步掌握技能。与其他基线方法相比，VOYAGER在探索性能、技术树掌握、地图覆盖和零样本泛化能力方面表现出明显的优势。然而，VOYAGER也存在一些局限性，如成本较高、可能出现代理卡住无法生成正确技能的情况等。未来的工作可以进一步改进VOYAGER的性能，并探索其在其他领域的应用。 06:18 本文使用了哪些数据 本文使用了OpenAI的GPT-4和GPT-3.5-turbo-0301 API进行文本补全，以及text-embedding-ada-002 API进行文本嵌入。此外，还使用了MineDojo和Mineflayer JavaScript API进行仿真环境和电机控制。 06:39 哪款GPT性价比最好？ 根据文档中的信息，GPT-4在代码生成方面明显优于GPT-3.5，并且获得了更多独特的项目。然而，GPT-4的成本比GPT-3.5贵15倍。因此，从性价比的角度来看，GPT-3.5可能是更好的选择，特别是在执行标准NLP任务时。但是，如果对于代码生成的质量要求较高，那么GPT-4可能是更好的选择，尽管它的成本更高。请注意，这只是根据文档中提供的信息进行的推测，具体的性价比还需要根据实际需求和预算来评估。

论文：Attention Is All You Need 地址：https://arxiv.org/abs/1706.03762 00:00 前言 嗨！亲爱的听众朋友们，大家好！今天我们将一起深入研究和探讨一篇极其重要的论文，《Attention Is All You Need》。这篇论文于2017年发表，提出了一种名为"Transformer"的新型神经网络架构，它基于自注意力机制，摒弃了传统的循环神经网络和卷积神经网络。这种新型架构在机器翻译任务中表现出色，不仅质量更高，而且更易于并行化，训练速度也更快。 论文中提到了"self-attention"，也称为"intra-attention"，它是一种注意力机制，用于计算序列的表示。通过自注意力机制，可以有效地处理阅读理解、摘要生成、文本蕴含等多种任务。 在过去的研究中，基于循环注意力机制的端到端记忆网络在简单语言问答和语言建模任务上表现良好。然而，据我们所知，"Transformer"是第一个完全依赖自注意力机制来计算输入和输出表示的转换模型，而不使用序列对齐的循环神经网络或卷积。 论文中还介绍了"Transformer"的模型架构。它采用了编码器-解码器结构，其中编码器将输入序列映射为连续表示，解码器则根据编码器的输出逐步生成输出序列。编码器和解码器都使用了堆叠的自注意力和全连接层。 "Transformer"的提出对于注意力机制的研究具有重要意义，未来还可以将其应用于其他任务，并探索处理大规模输入和输出（如图像、音频和视频）的局部、受限注意力机制。此外，"Transformer"的生成过程更加并行化，也是我们未来研究的目标之一。 01:39 本文的贡献是什么？ 本文的贡献是介绍了一种名为Transformer的模型，该模型在机器翻译任务中表现出色，并在其他任务中也具有良好的泛化能力。作者通过实验证明，Transformer模型在质量、可并行性和训练时间方面都优于现有的模型。在WMT 2014的英德翻译任务中，该模型达到了28.4 BLEU的分数，超过了现有最佳结果，包括集成模型，提高了2个BLEU。在WMT 2014的英法翻译任务中，该模型在训练了3.5天的情况下，使用8个GPU达到了41.8的BLEU分数，训练成本仅为文献中最佳模型的一小部分。此外，作者还展示了Transformer模型在英语句法分析任务中的成功应用。 02:28 总结本文的引言。 本文的引言总结了循环神经网络、长短期记忆网络和门控循环神经网络在序列建模中的应用，并提到了Transformer模型在其他任务上的泛化能力。此外，还提到了一些相关的研究工作和实验结果。 02:45 这项研究的实验设计是什么？ 这项研究的实验设计包括在标准的WMT 2014英德数据集和WMT 2014英法数据集上进行训练。训练数据使用了大约4.5百万个句子对的英德数据集和约3600万个句子对的英法数据集。句子对按照近似的序列长度进行分批处理，每个训练批次包含大约25000个源语言标记和25000个目标语言标记。模型使用了8个NVIDIA P100 GPU进行训练，基础模型总共训练了100,000个步骤或12小时。 03:22 本文使用了哪些数据？ 本文使用了两个数据集：WMT 2014的英德数据集和WMT 2014的英法数据集。英德数据集包含约450万个句子对，使用了byte-pair编码，词汇量约为37000个标记。英法数据集包含3600万个句子，将标记分割为32000个词片段。 03:45 论文的结论是什么？ 论文的结论是Transformer模型在机器翻译和英语句法分析等任务中表现出色，并且具有良好的泛化能力。该模型在WMT 2014英德翻译任务中取得了28.4 BLEU的成绩，在WMT 2014英法翻译任务中取得了41.8 BLEU的成绩，超过了现有最佳结果。此外，该模型还成功应用于英语句法分析任务，并在大规模和有限训练数据上都取得了良好的效果。 04:16 解释这篇论文的实际意义。 这篇论文的实际意义是介绍了一种名为Transformer的模型，它在机器翻译和其他自然语言处理任务中取得了很好的效果。该模型通过引入自注意力机制，能够更好地捕捉输入序列中的长距离依赖关系，并且具有更好的并行性和训练效率。实验结果表明，Transformer模型在WMT 2014英德翻译任务和英法翻译任务上取得了优于现有最佳结果的性能，并且在其他任务上也具有良好的泛化能力。因此，这篇论文的实际意义是提出了一种新的模型架构，为自然语言处理任务的研究和应用提供了新的思路和方法。 04:58 本文的局限性。 本文的局限性是在小数据情况下，RNN序列到序列模型无法达到最先进的结果。此外，本文只对少数参数进行了实验选择，其他参数保持不变。 05:12 论文提出了哪些进一步的工作或研究建议？ 该论文提出了几个需要进一步开展工作和研究的领域，包括： -将基于注意力的模型应用于机器翻译以外的其他任务，例如图像、音频和视频处理。 -研究局部受限的注意力机制，以有效处理大量输入和输出。 -探索 Transformer 模型的不同变体，例如修改架构或加入其他功能。 -对模型的计算要求及其在不同类型的输入数据上的性能进行更详细的分析。 总体而言，该论文表明，基于注意力的模型具有改善序列转导任务性能的巨大潜力，并且该领域还有许多进一步研究和开发的途径。 05:54 Transformer模型如何通过自注意力机制改进了序列模型的性能？ Transformer模型通过自注意力机制改进了序列模型的性能。传统的序列模型通常使用循环神经网络（RNN）或卷积神经网络（CNN）来建模序列之间的依赖关系。然而，这些模型在处理长序列时存在并行化困难和计算效率低下的问题。相比之下，Transformer模型完全依赖自注意力机制来计算输入和输出的表示，而不使用RNN或CNN。自注意力机制可以在输入和输出序列中建模全局依赖关系，而不考虑它们在序列中的距离。这种改进使得Transformer模型可以更好地并行化处理，并在机器翻译等任务中取得了更好的性能。 06:41 为什么传统的序列到序列模型在处理长文本时性能不佳？ 传统的序列到序列模型在处理长文本时性能不佳的原因是由于它们使用循环神经网络（RNN）作为编码器和解码器的基本组件。RNN在处理长序列时容易出现梯度消失或梯度爆炸的问题，导致模型难以捕捉长距离的依赖关系。此外，RNN模型的计算是顺序进行的，无法进行并行计算，导致训练时间较长。相比之下，Transformer模型使用了自注意力机制，能够更好地捕捉长距离的依赖关系，并且可以进行并行计算，因此在处理长文本时性能更好。 07:22 本文的实验结果是否表明transformer模型在自然语言处理任务中具有广泛的适用性？ 本文的实验结果表明Transformer模型在自然语言处理任务中具有广泛的适用性。通过在机器翻译任务和英语句法分析任务中的应用，Transformer模型在质量、训练时间和并行性方面都表现出优势。在机器翻译任务中，Transformer模型在WMT 2014英德翻译任务和英法翻译任务上取得了最新的最佳结果，并超过了以往的模型。此外，Transformer模型还成功地应用于英语句法分析任务，证明其在其他任务上的泛化能力。因此，可以得出结论，Transformer模型在自然语言处理任务中具有广泛的适用性。 08:08 结语 在结束之前，我想衷心感谢每一位聆听我们《注意力是你所需要的一切》节目的朋友们。我们深知在AI创作的过程中难免存在一些不完美之处，因此非常期待大家的指正和反馈。请大家积极参与讨论，一起打造一个更精彩、更准确的知识共享播客。再次感谢大家的聆听，下期节目我们不见不散哦！

论文标题：Toolformer : Language Models Can Teach Themselves to Use Tools 论文地址：arxiv.org 00:00 1. 论文介绍 本文讨论了大型语言模型的局限性，并提出了一种名为Toolformer的模型，该模型可以通过简单的API自学使用外部工具，实现两全其美的效果。Toolformer 经过训练，可以决定调用哪些 API、何时调用它们、传递哪些参数以及如何最好地将结果纳入未来的token预测中。该模型包含一系列工具，包括计算器、问答系统、搜索引擎、翻译系统和日历。Toolformer 在不牺牲其核心语言建模能力的情况下显著提高了各种下游任务的零点性能，通常与更大的模型相比具有竞争力。 00:34 2. 本文中使用的方法 Toolformer是一种可以通过简单的API自学使用外部工具的语言模型，经过训练，可以决定调用哪些API、何时调用它们、传递哪些参数以及如何最好地最终结果纳入未来的代币预测中。这是通过我监督的方式完成的，只需要为每个API 进行少量演示。作者表示，在非本质其核心语言构建模能的情况下，Toolformer在各种下游戏任务中实现了大广提高的零点性能，通常与更大的模型相竞争。该论文还评价了多语种回答基准测试MLQA上的Toolformer和所有基准模型，并在两个语言构建模型数据集上测试了Toolformer：WikiText和来自CCnet的10,000份随机选择的文档子集。 01:14 3. 本文中使用了哪些数据 本文使用三个数据集来评估Toolformer的性能：ASDiv、SVAMP和MAWPS基准测试。作者在这些数据集上测试了数学推理能力，并表明即使禁用 API 调用，Toolformer 也能获得更强的结果。他们推测这是因为该模型对许多 API 调用示例及其结果进行了微调，提高了其自身的数学能力。 01:36 4. 本文的文献综述 本文讨论了在预训练期间用某种形式的额外文本信息来增强语言模型的各种方法，包括各种形式的元数据、HTML 标签、维基百科标记或从信息检索系统获得的相关文本。此外，本文还讨论了几种旨在让 LM 能够使用外部工具（例如搜索引擎、网络浏览器、计算器、翻译系统和 Python 解释器）的方法。这些模型学会使用工具的方式大致可以分为两种方法：要么依赖大量的人工监督，要么通过针对特定任务量身定制的少量设置来提示语言模型起作用，在这种设置中，先验地知道需要使用哪些工具。 02:12 5. 论文的结论 该论文的结论是，Toolformer 是一种语言模型，它以自我监督的方式学习如何通过简单的 API 调用使用不同的工具，例如搜索引擎、计算器和翻译系统，它显著提高了 6.7B 参数 GPT-J 模型的零性能，使其在一系列不同的下游任务上甚至可以胜过更大的 GPT-3 模型。 02:34 6. 多语言问答是如何完成的？ 对于多语言问答，作者在多语言问答基准 MLQA 上评估了 Toolformer 和所有基准模型。每个问题的上下文段落均以英文提供，而问题可以是阿拉伯语、德语、西班牙语、印地语、越南语或简体中文。为了完成任务，模型需要能够理解段落和问题，因此将问题翻译成英语可能会对模型有所帮助。使用的评估指标是生成模型包含正确答案的次数百分比，上限为 10 个字。Toolformer 在使用 API 调用时所有语言的性能都得到了持续改善，这表明它已经学会了使用机器翻译工具。根据语言的不同，在所有示例中，有63.8％至94.9％使用此工具；唯一的例外是印地语，只有7.3％的案例使用了机器翻译工具。但是，Toolformer 的表现并不一直优于原版 GPT-J。这主要是因为对于某些语言来说，在 CCnet 上进行微调会降低性能；这可能是由于与 GPT-J 的原始预训练数据相比，分布发生了变化。OPT 和 GPT-3 在所有语言中的表现都出人意料地弱，这主要是因为尽管他们被指示提供英语答案，但它们还是无法提供英语答案。GPT-J 没有遇到这个问题的一个潜在原因是，它是在比 OPT 和 GPT-3（包括 EuroParl 语料库）更多的多语言数据上训练的。作为上限，作者还在 MLQA 的变体上评估了 GPT-J 和 GPT-3，其中上下文和问题均以英文提供。在这种设置中，GPT-3 的性能优于所有其他模型，这支持了这样的假设，即它在 MLQA 上的表现不佳是由于任务的多语言方面造成的。 04:11 7. Toolformer 在执行算术或事实查找等基本功能方面与传统语言模型有何不同？ Toolformer 与传统语言模型的不同之处在于其执行基本功能（例如算术或事实查找）的能力。虽然传统语言模型难以完成这些任务，但 Toolformer 可以通过简单的 API 自学使用外部工具，实现两全其美。它经过训练，可以决定调用哪些 API、何时调用它们、传递哪些参数以及如何最好地将结果纳入未来的token预测中。这是通过自我监督的方式完成的，只需要为每个 API 进行少量演示。Toolformer 在不牺牲其核心语言建模能力的情况下显著提高了各种下游任务的零点性能，通常与更大的模型相比具有竞争力。 04:53 8. Toolformer 中包含哪些外部工具示例，它们如何提高下游任务的性能？ Toolformer 集成了一系列外部工具，包括计算器、问答系统、搜索引擎、翻译系统和日历。这些工具用于提高 Toolformer 在下游任务上的性能。例如，Toolformer 可以使用计算器 API 执行算术运算，使用问答系统 API 来回答问题，使用搜索引擎 API 来查找相关信息，使用翻译系统 API 来翻译文本，使用日历 API 来安排活动。通过整合这些外部工具，Toolformer 在不牺牲其核心语言建模能力的情况下显著提高了各种下游任务的零点性能，通常与更大的模型相比具有竞争力。 05:33 9. 解释本文的实际意义 本文的实际意义是，Toolformer可以通过简单的API教程大型语言模型使用外部工具，从而提供高级语言模型在各种下游任务中的性。这可以导致更高效率、更有效的自然语言处理系统，从而执行更广泛的任务。此外，Toolformer 可用于资源不足的设置，在这些环境中，外部工具可能特别有用。总体而言，本文的贡献可能表现出提高语言模型的能力及其实际应用。 05:59 10. 本文的局限性 本文的局限性在于 Toolformer 不能使用链中的工具，这意味着它不能使用一个工具的输出作为另一个工具的输入。此外，当前的方法不允许LM以交互方式使用工具，这对于某些应用程序可能至关重要。最后，在决定是否调用 API 时，使用 Toolformer 训练的模型通常对输入的确切措辞很敏感。 06:21 11. 本文提出的今后的工作建议 该论文提出了几个未来的研究方向，包括探索更复杂的API的使用，研究Toolformer在多任务环境中的使用，以及探索在更具交互性的环境中使用Toolformer，在模型可以要求更多信息或澄清的环境中使用 Toolformer。此外，该论文建议探索在更真实的环境（例如聊天机器人或个人助理）中使用Toolformer，并研究在资源不足的环境中使用Toolformer的情况，在这些环境中，外部工具可能特别有用。

00:00 Hi，友友，很高兴遇见你，热烈欢迎你们来到"喜 AI 听科技新纪元"~ 00:05 这是一个专注于科技前沿的播客，我们将一起深入解读和探索这个迅速发展的世界。"喜 AI 听科技新纪元"是一个由AI驱动的播客，我们的节目旨在为你们提供最新、最有深度的科技资讯，无论你是科技领域的专业人士，还是对新兴科技充满好奇的普通听众，我们都希望通过我们的节目能够帮助你更好的理解和掌握这个不断发展的科技新纪元。 00:31 我们的主题涵盖了从人工智能、AI、机器学习、区块链到WEB3宇宙等多个科技领域。每一期节目我们都与你分享这些领域的最新进展，解读其背后的技术原理，以及这些技术对我们的生活、工作乃至全社会可能产生的影响。我们坚信科技是推动世界前进的重要动力，而了解科技、理解科技就是掌握未来。因此，我们希望通过"喜 AI 听科技新纪元"，能够帮助你在科技新纪元的探索之旅中找到自己的方向，找到自己的答案。 01:05 最后，我们非常期待和你一起共同探索科技新纪元的无限可能，让我们一起迎接科技新纪元的挑战，拥抱科技新纪元的机遇。在此，我真诚的邀请你加入我们，一起开启这段探索科技新纪元的旅程。希望你会喜欢我们的节目，也希望你能从我们的节目中找到有价值的信息和洞察。在"喜 AI 听科技新纪元"中，我们一起发现科技的美好，一起探索科技的力量，一起拥抱科技的未来。 01:34 再次感谢你的加入，让我们一起迎接科技新纪元的挑战和机遇吧。