电厂 | 大模型前传:一场拍卖会与巨头间的人才战 电厂 | 大模型前传:一场拍卖会与巨头间的人才战
admin
2023-12-14 09:42:00
0


作者 肖余林

编辑 高宇雷

2012年12月,AI领域的一场顶级会议NIPS在美国内华达州太浩湖举办,会议酒店里的一场秘密拍卖拍出了4400万美元的高价。拍卖的是一家在会议前紧急成立的公司,公司成员只有3人,没有发布任何产品。参与拍卖的有谷歌、微软、DeepMind以及百度。

这是一场既豪横又简陋的拍卖,竞拍方通过Gmail邮件远程出价,每一个小时出价一次,每次加价不少于100万美元。60多岁的主办方成员因患有颈椎疾病无法久坐,他在酒店的桌子上倒扣一个垃圾桶,把电脑放在垃圾桶上遥控科技巨头出价。

竞拍价一路攀升,2000万美元以后,场内只剩百度和谷歌,两家公司都势在必得。出价4400万美元后,主办方意外暂停了拍卖,时间被拖到第二天。第二天拍卖开始前,主办方告诉百度,他们更希望加入谷歌。

这个故事被科技记者Cade Metz放在《深度学习革命》一书开头,用来说明科技巨头在人工智能领域对人才的激烈争夺。被拍卖的这家公司是DNNResearch,三名员工是被称为“深度学习之父”的Geoffrey Hinton、AlexNet卷积神经网络创始人Alex Krizhevsky和现任OpenAI首席科学家IIya Sutskever。


Geoffrey Hinton(右)和他的两名研究生Alex Krizhevsky和Ilya Sutskever(左)(图源:多伦多大学)

这场拍卖之前,“人工智能”还只是科幻小说和电影里的事物,“深度学习”的概念就连前沿的科技巨头内部都少有人知。这场拍卖之后,一切开始发生变化。拍卖3年后,AlphaGo横空出世。5年后,还是同一场NIPS会议中,谷歌8位研究员带着Transformer模型架构技惊四座。10年后,美国几乎所有的顶尖AI实验室里都有来自谷歌的身影。

Google Brain的第一个成功和失败

数学公式组织着从微观粒子世界到宏观宇宙的广阔图景,同时也是人们构建现代计算机和人工智能算法的工具——现代计算机底层逻辑运算的原理是形成于19世纪中期由George Boole发明的布尔计算。20世纪40年代,人们开始尝试把生物神经元的功能抽象化为数学模型,50年代末诞生了第一个Neural Network神经网络算法(NN算法)。

Geoffrey Hinton是George Boole的玄孙,在70年代进入NN算法领域,并成为推动NN算法发展的主要人物之一。到21世纪初,GPU的使用和分布式计算大大提升了算法运行的效率,NN算法成为热门领域。Hinton在2006年提出深度信念网络的概念,让训练深度神经网络成为了可能,“深度学习”成为神经网络算法的代名词。

谷歌在当时有一个神秘实验室Google X,专门研究智能驾驶、增强现实等前沿尖端项目,这些项目往往都与人工神经网络有关。2011年,斯坦福大学人工智能教授吴恩达(Andrew Ng)加入Google X,希望把自己的神经网络研究推广开来。

然而即便在谷歌,当时也少有人认识到神经网络可以带来的改变,多次碰壁的吴恩达遇到了Jeff Dean,双方一拍即合,很快把一些研究转化出成果,这次的合作项目最终成为独立的部门Google Brain。

2012年夏天,《纽约时报》详细报道了吴恩达和Jeff Dean合作的“小猫论文”,他们用16000台计算机组成了一个有10亿连接的大型神经网络系统。系统从来自YouTube的1000万张图片中学会了“猫”的概念,并找出了其中含有猫的图片。这让谷歌的科学家大为震惊并深受鼓舞。


神经网络自学识别的猫的图像 (图源:纽约时报)

不过,吴恩达两人的方法并不是当时最高效的。在当年秋天的ImageNet图像识别大赛中,Hinton领导的三人组使用AlexNet深度卷积神经网络夺得第一,他们的成绩比第二名高出41%。这是ImageNet赛事的高光时刻,也是科技行业的“决定性瞬间”之一。《深度学习革命》一书的作者Cade Metz认为,AlexNet是深度学习的转折点,也是全球科技行业的转折点,推动了后来的人工智能热潮。

这次比赛也直接催生了文章开头提到的拍卖会,Hinton团队因此加入到Google Brain。

在这之后,学术投资成为谷歌具有战略高度的投资方向。虽然深度学习在当时是一个极小的领域,但谷歌创始人Larry Page认为它将会重塑行业,要求寻找其中的人才。在收下Hinton的同时,谷歌开始着手下一个目标。

骄傲的DeepMind和谷歌的豪赌

DeepMind主理人同样有三位,主要创办人Demis Hassabis从小智力超常,8岁开始编写电脑游戏,13岁就获得国际象棋大师的头衔。20岁时,Hassabis在剑桥大学计算机科学专业获得双第一,毕业后成功经营了一家60人的游戏公司。后来,Hassabis转向攻读认知神经科学,最终投入人工智能浪潮。

2010年决定创办DeepMind时,资金问题是重要的考量之一。Hassabis通过一场棋局获得了第一笔投资,来自Peter Thiel。Thiel是Paypal的创始人,通过他,DeepMind又获得了来自马斯克的投资。创办两年内,DeepMind先后完成了两轮融资。

Hassabis首先提出了AGI的概念,DeepMind以AGI为目标保持独立运作。创办早期,DeepMind训练了一个玩游戏的神经网络系统,系统通过观看学会了玩《太空侵略者》《乒乓球》《越狱》等游戏,在很多游戏中的表现超过人类玩家。马斯克在飞机上观看DeepMind的演示视频时,刚好被谷歌的Larry Page注意到,《Wired》报道称,马斯克向Larry Page介绍了DeepMind。


Demis Hassabis

对于DeepMind这样的机构,注定无法独立完成烧钱的AGI豪赌,它需要持续不断的输血,成立后很快陷入到窘境。幸运的是,Hinton团队的拍卖会一举抬高了AI领域人才的身价,同时谷歌正在不计成本的投入其中。

2013年,谷歌团队乘坐专机去到伦敦与DeepMind接洽,在第二年以6.5亿美元买下DeepMind。谷歌同意了DeepMind提出的要求:双方合作技术不能用于军事目的,并成立独立道德委员会监督。

DeepMind亏损压力来到谷歌,电厂根据《CNBC》和《Bloomberg》媒体报道测算,2016年到2019年,DeepMind平均每年亏损4.6亿美元。报道显示,2019年,DeepMind所有公司间贷款和应计利息共计15亿美元,被谷歌一笔免除。

Facebook的开源力量

跟Hassabis一样,Zuckerberg在哈佛大学校园里创办Facebook时,第一笔天使投资也来自Peter Thiel。在DeepMind寻找买家时,Thiel促成了两人的首次接洽。Facebook比谷歌更想要DeepMind,愿意支付更高的收购金额。然而这是一场失败的收购,据《深度学习革命》一书记录,Hassabis认为,他跟Zuckerberg之间没有“化学反应”,更重要的是在AI安全方面没有共同的认知。

2013年是Facebook认识到深度学习重要性的第一年,Zuckerberg决定招揽前沿的研究人才。但跟DeepMind一样,这些来自学界的研究者认为Facebook缺少吸引力。与财务收入相比,学者们看重自己的研究能不能在Facebook持续,却发现后者根本没有设置实验室。

Zuckerberg找到了杨立昆(Yann LeCun)。杨立昆发明了卷积神经网络,在深度学习领域跟Hinton有同样的地位,手下学生众多,如果由他运营实验室,Facebook将能够逆转局面。

杨立昆信奉技术开放,会公布自己最新的研究成果,他认为这一领域的进步由一代代研究人员接力推动。在《Popular Science》的一次专访中,杨立昆谈到同意这次合作的原因——他对实验室的想象与Facebook的开放理念一致。Facebook社交帝国的基础是开源软件,Zuckerberg对开放的理解打消了杨立昆的担忧。


Meta AI 首席人工智能科学家 Yann LeCun(左)

杨立昆帮助Facebook经营FAIR实验室,同时仍然担任在纽约大学的职务。有了实验室的Facebook也有了从谷歌、微软挖掘人才的优势。

开放开源让Facebook保持着在AI领域的领先地位。2022年,来自独立实验室OpenAI的ChatGPT一飞冲天,Zuckerberg选择开源Llama大模型应对,从而迅速占据生态优势。促进这次开源决定的正是杨立昆。

不被看好的OpenAI

深度学习领域有三位学术巨头,除了Hinton和杨立昆,另一位是Yoshua Bengio。谷歌和Facebook掀起AI人才争夺战后,Bengio收到了无数来自科技公司的邀约,但他都一一回绝,这些公司中就包括OpenAI。

当时的OpenAI还没有成立,Greg Brockman和Sam Altman正在召集人才。他们认识到科技公司内部的实验室正在迅速扩张,必须采取行动,这得到了马斯克的支持。根据《Wired》报道,Bengio给了他们一份名单,列出了他所认为的这个领域最有前途的年轻研究人员,其中就包括Ilya Sutskever。

谷歌开出高薪挽留Sutskever,第一年接近200万美元,是OpenAI的两到三倍,这让Sutskever产生了动摇。《深度学习革命》书中详细记录了这个故事,OpenAI原本计划在当年的NIPS会议上宣布成立,但Sutskever的犹豫打乱了计划,最后一天的会议结束之后,他才确定“上车”。

OpenAI作为非盈利组织在2015年12月成立,它把自己定位为科技巨头技术扩张的对抗力量,宗旨是确保AI技术造福人类。然而,秉持类似理想的DeepMind却认为,OpenAI只会加速行业里的技术对抗,从而带来更多风险,OpenAI初创团队的技术人员当中,有5个曾在DeepMind工作。不看好OpenAI的也包括杨立昆,杨立昆告诉Sutskever,他的选择是在犯错,并给出了10多条理由。

谷歌的一团火和满天星

人工智能技术的理论突破几乎全部来自校园里的学术团队,谷歌、Facebook的实验室承担了高校与商业公司之间的纽带,培养了大批学术力量,推动了科研成果的诞生。随着时间推移,很多科研人员意识到事情发生了变化。

Ilya Sutskever在后来的采访中谈到自己离开谷歌的原因,他表示,人工智能的神经网络变得越来越庞大,未来将会是更大的、更有组织的的工程项目。研究人员需要用更宏观的视角研究它们,实验室能够提供舒适的环境和优越的回报,但无法给他们调动更多的资源。

OpenAI的成立开启了一种趋势。很快,过去几年加入科技巨头实验室的研发人员开始陆续出走。其中最具代表性的,应当是谷歌发明了Transformer模型架构的8位作者。

2017年,谷歌8位研究员完成的《Attention is All You Need》论文横空出世,推动AI行业进入到大模型时代,Transformer成为几乎所有AI大模型的核心。但从2017年至今,8位作者已经全部从谷歌出走,进入到各个领域的“OpenAI”当中。

2012年以来,谷歌的实验室成了AI技术和人才策源地。过程中,AI研究经历了从论文到落地的阶段,开始走向应用。看着多年学术投资成果散落各地,谷歌终于幡然醒悟。随着Geoffrey Hinton在2023年退休,谷歌一方面宣布不再公布最新的科研成果,另一方面把DeepMind和Google Brain合并成Google DeepMind,由Hassabis担任CEO。

过去几年一直处在弱势地位的微软,却因为OpenAI的崛起重新拿到先发优势。谷歌的战略调整也决定了,始终担心AI安全问题的Hassabis将不得不加快他的“曼哈顿计划”。而先后失去了DeepMind和OpenAI的马斯克,不得不X上继续呼吁人们警惕AI技术扩张带来的威胁。

相关内容

热门资讯

linux入门---制作进度条 了解缓冲区 我们首先来看看下面的操作: 我们首先创建了一个文件并在这个文件里面添加了...
C++ 机房预约系统(六):学... 8、 学生模块 8.1 学生子菜单、登录和注销 实现步骤: 在Student.cpp的...
A.机器学习入门算法(三):基... 机器学习算法(三):K近邻(k-nearest neigh...
数字温湿度传感器DHT11模块... 模块实例https://blog.csdn.net/qq_38393591/article/deta...
有限元三角形单元的等效节点力 文章目录前言一、重新复习一下有限元三角形单元的理论1、三角形单元的形函数(Nÿ...
Redis 所有支持的数据结构... Redis 是一种开源的基于键值对存储的 NoSQL 数据库,支持多种数据结构。以下是...
win下pytorch安装—c... 安装目录一、cuda安装1.1、cuda版本选择1.2、下载安装二、cudnn安装三、pytorch...
MySQL基础-多表查询 文章目录MySQL基础-多表查询一、案例及引入1、基础概念2、笛卡尔积的理解二、多表查询的分类1、等...
keil调试专题篇 调试的前提是需要连接调试器比如STLINK。 然后点击菜单或者快捷图标均可进入调试模式。 如果前面...
MATLAB | 全网最详细网... 一篇超超超长,超超超全面网络图绘制教程,本篇基本能讲清楚所有绘制要点&#...
IHome主页 - 让你的浏览... 随着互联网的发展,人们越来越离不开浏览器了。每天上班、学习、娱乐,浏览器...
TCP 协议 一、TCP 协议概念 TCP即传输控制协议(Transmission Control ...
营业执照的经营范围有哪些 营业执照的经营范围有哪些 经营范围是指企业可以从事的生产经营与服务项目,是进行公司注册...
C++ 可变体(variant... 一、可变体(variant) 基础用法 Union的问题: 无法知道当前使用的类型是什...
血压计语音芯片,电子医疗设备声... 语音电子血压计是带有语音提示功能的电子血压计,测量前至测量结果全程语音播报࿰...
MySQL OCP888题解0... 文章目录1、原题1.1、英文原题1.2、答案2、题目解析2.1、题干解析2.2、选项解析3、知识点3...
【2023-Pytorch-检... (肆十二想说的一些话)Yolo这个系列我们已经更新了大概一年的时间,现在基本的流程也走走通了,包含数...
实战项目:保险行业用户分类 这里写目录标题1、项目介绍1.1 行业背景1.2 数据介绍2、代码实现导入数据探索数据处理列标签名异...
记录--我在前端干工地(thr... 这里给大家分享我在网上总结出来的一些知识,希望对大家有所帮助 前段时间接触了Th...
43 openEuler搭建A... 文章目录43 openEuler搭建Apache服务器-配置文件说明和管理模块43.1 配置文件说明...