长江证券:GROK-1专家模型开源 建议关注AI模型相关厂商与核心行业应用厂商 长江证券:GROK-1专家模型开源 建议关注AI模型相关厂商与核心行业应用厂商
admin
2024-03-19 11:32:11
0次

智通财经APP获悉,长江证券发布研报称,3月18日,马斯克旗下大模型公司xAI宣布开源3140亿参数的混合专家(MoE)模型Grok-1,以及模型的权重和网络架构,开发者可直接在Github下载获得。现阶段,开源模型在行业场景落地前需要通过行业数据调参,在此过程中需要较强的AI工程化能力,因此建议关注AI模型相关厂商与核心行业应用厂商;而随着开源模型的应用,对AI算力的需求也随之提升,建议关注AI算力相关厂商。

长江证券认为,Grok-1是当前参数量最大的开源大语言模型,由8个混合专家模型组成,有25%的权重在给定token上处于激活状态,因此在每次推理时会有2个活跃的专家模型(860亿参数)。Grok-1基础模型在大量文本数据上训练,未针对任何特定任务进行微调。

Grok-1通过专家模型组合实现高性能与低算力消耗。在训练阶段,Grok-1会对8个小模型各自做不同任务的针对性训练,因此在数据喂入之后,模型不用一次性迭代所有参数,而仅仅迭代部分小模型的参数。在推理阶段,虽然Grok-1整体参数超过3140亿,但每次推理时只会调动860亿的参数参与计算,算力消耗接近LLaMA2模型的700亿参数,但性能得到了大幅度跃升。根据xAI公布的数据,在GSM8K、HumanEval和MMLU等一系列基准测试中,Grok-1模型的表现超过了LLaMA-2-70B模型和GPT-3.5模型。

Grok-1模型开源弥补了我国模型侧的技术短板,有望赋能行业应用发展。我国在专家模型层面与国外存在一定的技术差距,本次Grok-1的开源有望弥补我国模型侧的技术短板。

Grok-1开源模型在相关厂商以行业数据微调后,未来或加速法律、金融、教育等行业垂类应用的智能化进程。

xAI公司的AI能力有望在未来赋能马斯克的产业链生态。长江证券认为,截至目前,经过微调的Grok大模型已经搭载于马斯克的X社交平台上,X订阅用户可与模型进行多任务的对话,可以实时访问X平台上的海量数据,从中学习和理解最新的热门话题和事件。而马斯克的智能驾驶、人形机器人公司特斯拉,脑机接口公司Neuralink同样与AI具备较强关联性,需要AI模型赋能。xAI公司有望在未来成为马斯克产业链的技术中台,赋能全产业链生态。

风险提示:开源模型商业模式发展不及预期。AI模型下游需求不及预期。

相关内容

热门资讯

AI做攻略、“双向奔赴”……国... 本文转自:人民网人民网记者 许维娜今年国庆假期,AI(人工智能)成了不少年轻人的“旅行搭子”。行前做...
合肥的这个“梗”, 翻篇了 社交平台的评论区,曾长期流传一句专属于合肥的黑色幽默。有人问合肥哪里好玩,本地网友半开玩笑地回复:合...
7万+旅游中高层都在的群,今天... 做旅游这行,资源卡位、渠道互通、项目落地——往往就差一个“对的机会”。我们的行业社群已聚集70,00...
一场帐篷音乐节,如何让井研从“... 帐篷音乐节现场封面新闻记者 周洪攀10月的研溪湿地,晚风里裹着柑橘的清甜与民谣的回响。夜幕降临,10...
白鹤翩翩落星愿,上海迪士尼度假... 10月9日,世界候鸟日前夕,上海迪士尼度假区星愿公园的湖风里多了一分白鹤的灵动。三座白鹤雕塑正式揭幕...
成都锦江边赏初秋枫叶飘飘 目前,成都锦江边国华街枫叶树红了。近年来,国华街附近的几条街都栽种了红枫树,是城区较集中看枫叶的点位...
GBTA:商务旅行正在复苏,但... 亚太正在成为全球商务旅行增长的重要引擎。在经历疫情后的快速反弹之后,全球商务旅行正在进入一个新的增长...
从景区焕新到节赛引流 邹城双节... 齐鲁网·闪电新闻10月9日讯 中秋、国庆“双节”假期,邹城市文化和旅游局提前谋划、周密部署,立足自身...
江山如此多娇 且看石楼今朝 金秋十月,黄河岸畔秋意盎然,丰收盛会喜迎国庆。本次石楼国庆文旅活动以“江山如此多娇,且看石楼今朝”为...
海南国庆假期接待游客475.4... 2026年国庆假期,海南接待游客475.40万人次,较2025年增长13.1%,较2024年增长15...