英伟达重塑预训练范式 提升扩展性

英伟达的ClimbLab重新定义预训练标准，这次他们用了超过一万二千亿个文本单元，分布在二十个语义集群中，把低质量内容通通剔除，提高了模型的扩展性