13
00:00 非Transformer架构开源模型登顶
1:28 ChatGPT官宣新模型翻车
2:20 最强AI程序员砸饭碗！像人一样思考
3:19 MIT 发现网页数据的公开共享正走向衰落
4:20 我国完成备案并上线的AI大模型达 180 多个
5:17 Meta 深化与环球音乐合作：遏制 AI 音乐影响
文字版
#阿联酋阿布扎比技术创新研究所（TII）推出了全新的开源模型Falcon Mamba 7B。该模型采用Mamba状态空间语言模型架构，取代了传统的Transformer架构。这一变革使模型能够处理任意长度的序列，且无需增加内存。Falcon Mamba 7B在性能上全面超越了同规模的开源模型，包括Llama-3.1、Mistral和Falcon-2等。
模型的主要特点包括:可处理无限长序列；生成每个token的时间基本保持一致；采用RMS标准化层确保大规模训练稳定；在H100 GPU上测试时展现出稳定的吞吐量。
Falcon Mamba系列共有四个版本：基础版、指令微调版、4bit版和指令微调4bit版。这些模型遵循TII Falcon License 2.0开放协议，为AI研究和应用提供了新的可能性。
此次创新标志着开源AI模型领域的重要进展，有望改变大语言模型的设计和应用方式。
#ChatGPT官方宣布最新版本GPT4o已于上周实装，但用户反馈却显示变化微乎其微,有人在官方推特评论区反馈没感觉到任何变化。新版本主要改进体现在语气更加人性化，安全护栏有所加强，但仍可被破解。值得注意的是，新模型在回答风格上略微接近Claude，且能够在特定问法下正确回答"Strawberry里有几个r"的问题。与此同时，OpenAI内部围绕下一代模型"草莓"/Q star展开了一场集体行为艺术，CEO奥特曼带头发布谜语般的草莓照片，引发外界猜测可能有重大事件正在酝酿。然而，这种神秘主义营销手法也引起了一些用户的厌倦情绪。
#Cosine公司推出的AI软件工程师Genie已成为地表最强AI程序员。Genie在SWE-Bench基准测试中解决了30.07%的问题，大幅领先第二名，提升SOTA达57%。Genie能像人类工程师一样思考和行动，可通过多种方式启动工作。它能自动解析问题、迭代思考、分析、编写和运行代码，仅用84秒就能完成整个过程。Genie的训练数据包含真实程序员的开发活动，编码了人类推理的完整过程。其推理步骤包括规划、检索、代码编写和运行。Genie还引入了自我改进机制，不断提升解决方案的准确性。值得注意的是，Genie背后的Cosine团队仅有5人，他们感谢OpenAI提供的大模型支持，使Genie的开发成为可能。
#MIT最新研究发现，人工智能系统赖以训练的网页数据正面临越来越多的限制。研究显示，C4、RefineWeb、Dolma等开源数据集所爬取的网站正快速收紧许可协议，使得曾经免费的数据变得越来越难以获取。仅一年时间内，这些数据集中就有5%以上的token总量和25%以上的关键网页在robots.txt中做出了限制。研究还发现，不同AI公司的爬虫受限程度存在显著差异，OpenAI的爬虫最不受欢迎。此外，网页数据与AI模型的实际用途也存在较大不匹配。这一趋势不仅影响商用AI模型的训练，也会阻碍学术界和非营利机构的研究。研究人员呼吁开发更灵活的协议来反映网站所有者的意愿，并更好地平衡数据创建者和AI公司之间的关系。
#根据中央网络安全和信息化委员会办公室副主任、国家互联网信息办公室副主任王京涛的介绍，我国生成式人工智能服务发展迅速。截至目前，已完成备案并上线、能为公众提供服务的生成式AI大模型达180多个，注册用户数突破5.64亿。我国人工智能产业规模持续扩大，相关企业超过4500家。人工智能与实体经济深度融合，在制造业应用后研发周期平均缩短20%，生产效率提升35%。同时，人工智能也在加速政务、金融、能源等领域的数字化进程。国家互联网信息办公室已发布六批深度合成服务算法备案信息，公众可通过互联网信息服务算法备案系统查询相关信息。
#Meta公司宣布与环球音乐集团(UMG)深化合作,达成新的多年协议。双方将共同致力于保护人类创作者和艺术,确保艺术家和词曲作者获得公平报酬,并为他们在Meta平台上提供更广阔的发展空间和商业机遇。协议涵盖Facebook、Instagram、Messenger、Horizon、Threads等Meta平台,首次还包括WhatsApp。两家公司都希望遏制未经授权的AI生成内容对艺人造成的影响。Meta音乐和内容业务发展副总裁表示,这一合作认识到音乐可以在现有和新平台上以新方式将歌迷、艺术家和词曲作者紧密联系在一起,期待未来进一步发展合作关系。
