长江证券：GROK-1专家模型开源 建议关注AI模型相关厂商与核心行业应用厂商 长江证券：GROK-1专家模型开源 建议关注AI模型相关厂商与核心行业应用厂商
智通财经APP获悉，长江证券发布研报称，3月18日，马斯克旗下大模型公司xAI宣布开源3140亿参数的混合专家(MoE)模型Grok-1，以及模型的权重和网络架构，开发者可直接在Github下载获得。现阶段，开源模型在行业场景落地前需要通过行业数据调参，在此过程中需要较强的AI工程化能力，因此建议关注AI模型相关厂商与核心行业应用厂商；而随着开源模型的应用，对AI算力的需求也随之提升，建议关注AI算力相关厂商。
长江证券认为，Grok-1是当前参数量最大的开源大语言模型，由8个混合专家模型组成，有25%的权重在给定token上处于激活状态，因此在每次推理时会有2个活跃的专家模型(860亿参数)。Grok-1基础模型在大量文本数据上训练，未针对任何特定任务进行微调。
Grok-1通过专家模型组合实现高性能与低算力消耗。在训练阶段，Grok-1会对8个小模型各自做不同任务的针对性训练，因此在数据喂入之后，模型不用一次性迭代所有参数，而仅仅迭代部分小模型的参数。在推理阶段，虽然Grok-1整体参数超过3140亿，但每次推理时只会调动860亿的参数参与计算，算力消耗接近LLaMA2模型的700亿参数，但性能得到了大幅度跃升。根据xAI公布的数据，在GSM8K、HumanEval和MMLU等一系列基准测试中，Grok-1模型的表现超过了LLaMA-2-70B模型和GPT-3.5模型。
Grok-1模型开源弥补了我国模型侧的技术短板，有望赋能行业应用发展。我国在专家模型层面与国外存在一定的技术差距，本次Grok-1的开源有望弥补我国模型侧的技术短板。
Grok-1开源模型在相关厂商以行业数据微调后，未来或加速法律、金融、教育等行业垂类应用的智能化进程。
xAI公司的AI能力有望在未来赋能马斯克的产业链生态。长江证券认为，截至目前，经过微调的Grok大模型已经搭载于马斯克的X社交平台上，X订阅用户可与模型进行多任务的对话，可以实时访问X平台上的海量数据，从中学习和理解最新的热门话题和事件。而马斯克的智能驾驶、人形机器人公司特斯拉，脑机接口公司Neuralink同样与AI具备较强关联性，需要AI模型赋能。xAI公司有望在未来成为马斯克产业链的技术中台，赋能全产业链生态。
风险提示：开源模型商业模式发展不及预期。AI模型下游需求不及预期。
上一篇：黄仁勋甩出最强AI核弹，GPU性能暴涨30倍，瓦力机器人惊艳登场 黄仁勋甩出最强AI核弹，GPU性能暴涨30倍，瓦力机器人惊艳登场
下一篇：AMD演示DX12新功能“工作图”：渲染效率比传统方式高出64% AMD演示DX12新功能“工作图”：渲染效率比传统方式高出64%