Llama 3王者归来,可与GPT-4分庭抗礼,开源模型即将追上闭源模型了? llama 3鍏嶈垂浣跨敤 llama 3
admin
2024-04-19 10:47:25
0

4月18日,AI圈再迎重磅消息,Meta带着号称“有史以来最强大的开源大模型”Llama 3登场了。

Meta本次开源了Llama 3 8B与70B两款不同规模的模型,供外部开发者免费使用,未来几个月,Meta 将陆续推出一系列具备多模态、多语言对话、更长上下文窗口等能力的新模型。其中,大版本的Llama 3将有超过4000亿参数有望与Claude 3“一较高下”。


与此同时,Meta首席执行官扎克伯格宣布,基于最新的Llama 3模型,Meta AI助手现在已经覆盖Instagram、WhatsApp、Facebook等全系应用,并单独开启了网站,还有一个图像生成器,可根据自然语言提示词生成图片。Llama 3的出现直接对标OpenAI的GPT-4,与“并不Open”的OpenAI截然不同,在AI圈围绕开源或闭源的路线争论不休之时,Meta坚定沿着开源路线朝AGI的圣杯发起了冲锋,为开源模型扳回一局。

知情人士透露,研究人员尚未开始对Llama 3进行微调,还未决定Llama 3是否将是多模态模型。有消息称,正式版的Llama 3将会在今年7月正式推出。

Meta AI 首席科学家、图灵奖得主Yann LeCun一边为Llama 3的发布“摇旗呐喊”,一边预告未来几个月将推出更多版本,称Llama 3 8B和Llama 3 70B是目前同体量下,性能最好的开源模型。llama 3 8B在某些测试集上性能比llama 2 70B还要强。


就连马斯克也现身于该评论区,一句简洁的“Not bad”表达了对 Llama 3 的认可和期待。


英伟达高级科学家Jim Fan认为,Llama 3的推出已经脱离了技术层面的进步,更是开源模型与顶尖闭源模型可分庭抗礼的象征

从Jim Fan分享的基准测试可以看出,Llama 3 400B 的实力几乎媲美 Claude“超大杯”以及新版 GPT-4 Turbo,将成为“分水岭”,相信它将释放巨大的研究潜力,推动整个生态系统的发展,开源社区或将能用上GPT-4级别的模型。

公布当天恰逢斯坦福大学教授,AI顶尖专家吴恩达的生日,吴恩达直言,Llama 3的发布是自己这辈子收到过的最好的礼物,谢谢你Meta!


OpenAI创始成员之一、特斯拉前AI总监Andrej Karpathy也对Llama 3表达了赞许。作为大语言模型领域的先驱之一,Karpathy认为Llama3的性能已接近GPT-4 的水平:

Llama3是Meta 发布的看起来非常强大的模型。坚持基本原则,在可靠的系统和数据工作上花费大量高质量时间,探索长期训练模型的极限。我也对 400B模型非常兴奋,它可能是第一个 GPT-4 级别的开源模型。我想很多人会要求更长的上下文长度。
我希望能有比 8B 更小参数,理想规模在0.1B到1B左右的模型,用于教育工作、(单元)测试、嵌入式应用等。

Rebuy公司AI总监、深度学习领域的博士Cameron R. Wolfe认为,Llama 3证明了训练优秀大语言模型的关键在于数据质量。他详细分析了Llama 3在数据方面做出的努力,包括:

1)15万亿个token的预训练数据: 比Llama 2多7倍,比DBRX的12万亿个还要多;
2)更多代码数据: 预训练过程中包含更多代码数据,提升了模型的推理能力;
3)更高效的tokenizer: 拥有更大的词汇表(128K tokens),提高了模型的效率和性能。

在Llama 3发布后,小扎向媒体表示,“我们的目标不是与开源模型竞争,而是要超过所有人,打造最领先的人工智能。”未来,Meta团队将会公布Llama 3的技术报告,披露模型更多的细节。

这场关于开源与闭源的辩论还远未结束,暗中蓄势待发的 GPT-4.5/5 也许会在今年夏天到来,AI领域的大模型之战还在上演。

相关内容

热门资讯

linux入门---制作进度条 了解缓冲区 我们首先来看看下面的操作: 我们首先创建了一个文件并在这个文件里面添加了...
C++ 机房预约系统(六):学... 8、 学生模块 8.1 学生子菜单、登录和注销 实现步骤: 在Student.cpp的...
A.机器学习入门算法(三):基... 机器学习算法(三):K近邻(k-nearest neigh...
数字温湿度传感器DHT11模块... 模块实例https://blog.csdn.net/qq_38393591/article/deta...
有限元三角形单元的等效节点力 文章目录前言一、重新复习一下有限元三角形单元的理论1、三角形单元的形函数(Nÿ...
Redis 所有支持的数据结构... Redis 是一种开源的基于键值对存储的 NoSQL 数据库,支持多种数据结构。以下是...
win下pytorch安装—c... 安装目录一、cuda安装1.1、cuda版本选择1.2、下载安装二、cudnn安装三、pytorch...
MySQL基础-多表查询 文章目录MySQL基础-多表查询一、案例及引入1、基础概念2、笛卡尔积的理解二、多表查询的分类1、等...
keil调试专题篇 调试的前提是需要连接调试器比如STLINK。 然后点击菜单或者快捷图标均可进入调试模式。 如果前面...
MATLAB | 全网最详细网... 一篇超超超长,超超超全面网络图绘制教程,本篇基本能讲清楚所有绘制要点&#...
IHome主页 - 让你的浏览... 随着互联网的发展,人们越来越离不开浏览器了。每天上班、学习、娱乐,浏览器...
TCP 协议 一、TCP 协议概念 TCP即传输控制协议(Transmission Control ...
营业执照的经营范围有哪些 营业执照的经营范围有哪些 经营范围是指企业可以从事的生产经营与服务项目,是进行公司注册...
C++ 可变体(variant... 一、可变体(variant) 基础用法 Union的问题: 无法知道当前使用的类型是什...
血压计语音芯片,电子医疗设备声... 语音电子血压计是带有语音提示功能的电子血压计,测量前至测量结果全程语音播报࿰...
MySQL OCP888题解0... 文章目录1、原题1.1、英文原题1.2、答案2、题目解析2.1、题干解析2.2、选项解析3、知识点3...
【2023-Pytorch-检... (肆十二想说的一些话)Yolo这个系列我们已经更新了大概一年的时间,现在基本的流程也走走通了,包含数...
实战项目:保险行业用户分类 这里写目录标题1、项目介绍1.1 行业背景1.2 数据介绍2、代码实现导入数据探索数据处理列标签名异...
记录--我在前端干工地(thr... 这里给大家分享我在网上总结出来的一些知识,希望对大家有所帮助 前段时间接触了Th...
43 openEuler搭建A... 文章目录43 openEuler搭建Apache服务器-配置文件说明和管理模块43.1 配置文件说明...