马斯克开源3140亿参数大模型 Grok-1猿来如此

马斯克开源3140亿参数大模型 Grok-1

5分钟 ·
播放数115
·
评论数0

马斯克旗下的xAI团队开源了3140亿参数的大模型 Grok-1,这是迄今为止参数量最大的开源语言模型。

**Grok-1 简介**

Grok-1 发布于 2024 年 3 月 18 日,由马斯克旗下的xAI团队开发,拥有3140亿参数,是目前开源的最大的语言模型。该模型采用了混合专家模型架构,并支持激活数据分布计算和8位数字精度量化。

**Grok-1 的技术特点**

- **参数量巨大:** 3140亿参数,是目前开源的最大的语言模型

- **模型架构:** 混合专家模型架构,能够更有效地处理复杂任务

- **性能优化:** 支持激活数据分布计算和8位数字精度量化,能够在保证性能的同时降低功耗

- **序列长度:** 最大序列长度为8192,能够处理更长的上下文信息