马斯克旗下的xAI团队开源了3140亿参数的大模型 Grok-1,这是迄今为止参数量最大的开源语言模型。
**Grok-1 简介**
Grok-1 发布于 2024 年 3 月 18 日,由马斯克旗下的xAI团队开发,拥有3140亿参数,是目前开源的最大的语言模型。该模型采用了混合专家模型架构,并支持激活数据分布计算和8位数字精度量化。
**Grok-1 的技术特点**
- **参数量巨大:** 3140亿参数,是目前开源的最大的语言模型
- **模型架构:** 混合专家模型架构,能够更有效地处理复杂任务
- **性能优化:** 支持激活数据分布计算和8位数字精度量化,能够在保证性能的同时降低功耗
- **序列长度:** 最大序列长度为8192,能够处理更长的上下文信息