3月18日消息,马斯克的人工智能公司xAI宣布开放其3140亿参数混合专家模型Grok-1的权重和架构。Grok-1是一个从头开始由xAI训练的大型语言模型,采用混合专家模型架构,其中25%的权重在给定令牌上处于活跃状态。该模型的基本模型权重和网络架构现已根据Apache 2.0许可证开放。Grok-1的预训练阶段已于2023年10月结束,目前发布的是原始基础模型检查点,未针对任何特定应用进行微调。有兴趣使用该模型的用户可以按照github.com/xai-org/grok上的指南操作。
马斯克的AI公司xAI正式公开Grok-1源代码
- THE END -
本文由 @决策财经 修订发布于 2024-03-18 09:00:12
本文来自投稿,不代表本站立场,如若转载,请注明出处:/news/live-news/19080
评论 (共 条评论,人围观)