我们正在发布大型语言模型Grok-1的基本模型权重和网络架构。Grok-1是一个由xAI从头开始​​训练的3140亿参数混合专家模型。 这是Grok-1预训练阶段的原始基础模型检查点，该阶段于2023年10月结束。这意味着该模型并未针对任何特定应用（例如对话）进行微调。 我们根据Apache2.0许可证发布权重和架构。 要开始使用该模型，请按照github.com/xai-org/grok上的说明进行操作。 模型详细信息 基础模型是在大量文本数据上训练的，并未针对任何特定任务进行微调。 ...