LLaMA: Open and Efficient Foundation Language Models

arxiv.org LLaMA，这是一组参数规模从 70 亿到 650 亿的基础语言模型。我们在数万亿个词元上训练模型，并表明仅使用公开可用的数据集就有可能训练出最先进的模型，而无需借助专有且无法获取的数据集。特别是，LLaMA-13B 在大多数基准测试中优于 GPT-3（1750 亿参数），LLaMA-65B 与最优秀的模型 Chinchilla-70B 和 PaLM-5400 亿参数相比也颇具竞争力