马斯克掀桌子了最强开源大模型诞生
应用介绍
【新智元导读】Grok-2正式开源，登上Hugging Face，9050亿参数+128k上下文有多猛？近万亿参数「巨兽」性能首曝。马斯克再现「超人」速度，AI帝国正在崛起。
Grok-2于2024年完成训练，体积超500GB。其混合专家（MoE）架构在Grok-1的基础上进行了改进。
巨大的模型规模：总参数量高达9050亿（905B），在推理时，每次会激活其中的1360亿（136B）参数。这使它成为目前最强大的开源模型之一。
混合专家架构 (MoE)：这种架构可以在不增加巨大计算成本的前提下，大幅扩展模型规模，提升模型能力。
商业用途门槛：仅当关联公司年收入低于一百万美元时，才可用于商业用途。超过此门槛的商业用途需获得xAI的单独许可。
限制：除非本协议条款允许对Grok 2进行修改或微调，否则不得使用材料、衍生品或输出（包括生成的数据）来训练、创建或改进任何基础、大型语言或通用人工智能模型。
使用以下命令启动推理服务器。这个检查点（checkpoint）配置为 TP=8，所以需要8张GPU（每张显存大于40GB）。
他透露，xAI位于孟菲斯的巨像数据中心仅用122天建成并全面投入运营，配备100,000块英伟达H100 GPU。
「短短两年内，xAI凭借Grok 4的发布，以极其精简的团队登顶全球最强人工智能之巅。」他感叹道。
有网友感叹道，92天内将容量翻倍，这不是资本分配带来的结果，而是一种绕过传统使用一种新的运营策略带来的。
