国内高校首例!支持千亿参数的大模型训练
admin
2023-06-27 17:32:04
0

  6月27日,国内高校最大的云上科研智算平台CFFF(Computing for the Future at Fudan)在复旦大学正式上线。

  这台为发现和解决复杂科学问题而建的科研“超级计算机”由复旦大学与阿里云、中国电信共同打造,以先进的公共云模式提供超千卡并行智能计算,支持千亿参数的大模型训练——这在国内高校中尚属首例,也领先于斯坦福大学等国际知名高校。

  目前,首个基于CFFF平台训练的科学大模型成果已正式发布,45亿参数大模型一天训完。

  复旦大学校长、中国科学院院士金力表示,在数据和智能技术驱动的“大科学时代”,如何在日新月异的科技创新环境中赢得主动,在关键领域取得创新突破,是时代给予高校的命题。以CFFF平台为代表的智算平台作为一种新兴的科研超算架构,将成为科研的重要支撑力量,极大提升科研效率、降低科研成本,加速科学原理发现和技术突破,并有力推动科学大模型的落地。

  对于平台的命名,中国工程院院士、阿里云创始人王坚做了一番独到的解读,他认为,这不仅仅是一个属于复旦的计算平台,更是“计算,因为在复旦而创造了未来”。他高度评价了CFFF平台的公共云部署模式,认为这是中国也是全球第一次让高校能拥有了和科技巨头一样的研究计算平台,让研究真正进入了计算驱动的时代。

  “为什么云计算很重要?因为云计算希望每个人在计算面前都是平等的,每个人都可以用计算来创造他应该创造的价值。”王坚回忆起2008年刚创办阿里云时在高校演讲,曾表达过希望每个同学都能用得起超算,15年后,CFFF平台的上线,终于希望成真。

  云上传、云上算

  真正用好科研算力资源

  CFFF平台由面向多学科融合创新的AI for Science智能计算集群“切问”一号和面向高精尖研究的专用高性能计算集群“近思”一号两部分组成。

  复旦大学浩清教授、人工智能创新与产业研究院院长漆远介绍,基于百G高速数据传输网和阿里云全球领先的大规模异构算力融合调度技术、分级存储技术、AI与大数据一体化技术,部署在复旦校内的“近思”一号和托管在1500公里外阿里云乌兰察布数据中心的“切问”一号连成了一台真正意义上的“超级计算机”,复旦四校区的所有实验设备都能高速接入,做到异构算力统一管理,计算任务统一调度,满足不同应用场景下的科学智能研究与应用需求。

  它还拥有国内高校最大规模的多级数据冷热分层存储集群,解决了海量科研数据无法长期备份的痛点,并支持云上高速传输。以往PB级科研数据从复旦校内传到西部数据中心需要两周,如今当天就能完成,真正实现了“东数西算”。

  位于“东数西算”节点上的阿里云乌兰察布数据中心,以公共云模式为复旦校内多学院的多个科研项目提供更高性能、更具弹性、更低成本和更绿色的智能计算服务。漆远表示,有赖于公共云模式,跑在CFFF平台上的项目可享受到超千卡并行的智能算力,千卡并行的有效算力达到行业领先的92%,可拓展性达到万卡,万卡并行有效算力也可达90%。

  王坚认为,CFFF平台在公共云上部署,对于高校建设科研计算平台是一个重要的转折点和里程碑,“学校能拥有和企业一样的算力基础设施,公共云是非常重要的保证。”公共云在开放的同时保证安全,而这样一个新型的大科学装置,其运维必须借助公共资源,才能高效低成本地完成。

  公开资料显示,智能计算相较通用计算的投入成本、技术门槛更高,各环节投资规模合计可能高达数百亿元。可以说,智能算力成本是通用算力的10倍以上。非公共云的模式变得更不可持续。

  王坚表示,复旦大学和阿里云的合作是产学研协同的创新,纵观技术的发展,特别在计算以及通讯领域,其实高校跟企业可以创造出很多很美妙的东西。IBM和哥伦比亚大学的合作,诞生了计算机专业。阿里云跟复旦大学的合作甚至可以像当年MIT跟贝尔实验室的合作那样,正是二者的合作今天几乎每个大学工学院才有了通信专业,创造出一个新领域,一个新机会。

  45亿参数大模型一天训完

  更多科学大模型有望落地

  据悉,CFFF平台从开始建设的第一天起,就收到了来自复旦不同院系的多种研究需求,不仅涵盖生命科学、大气科学、材料科学领域,也包括金融系统分析等社会科学研究。平台上的云原生与低代码工程化AI开发平台,进一步降低了AI与科研融合的门槛。

  钻研介孔材料多年、曾获国家自然科学一等奖的赵东元院士对平台推进AI for Science研究充满期待:“CFFF平台的上线就像我们拥有了一个‘大科学装置’,让做科研如虎添翼。实验科学的数据非常多,如果可以通过文献数据找到设计一种材料的最佳路线,将会省掉很多时间,我们对物质的认识也会更加深入。”

  目前,CFFF平台上的第一个科研成果已经诞生。复旦大学人工智能创新与产业研究院李昊团队近期发布了45亿参数量的中短期天气预报大模型,预测效果在公开数据集上首次达到业界公认的ECMWF(欧洲中期天气预报中心)集合平均水平,并将预测速度从原来的小时级缩短到了3秒内。

  “基于CFFF平台的千卡并行智能计算,这样一个规模的大模型只用一天就完成了训练。传统的计算平台是很难做到的。”李昊说。

  这也是CFFF平台上孕育出的第一个大模型。金力表示,复旦希望基于CFFF平台建成一批具有世界级影响力的科学大模型,例如生命科学大模型、材料科学大模型、大气科学大模型、集成电路大模型等。

  未来,CFFF平台还将持续扩大其算力规模,并向复旦校外的科研机构、高校、医院、高科技企业等开放。当天,面向全球科研人员的首届世界科学智能大赛也宣布正式启动,大赛设置生命科学、量子化学等五大赛道,CFFF平台将为参赛队伍提供免费训练算力,并以更普惠的算力长期支持部分科研项目。

(文章来源:中国基金报)

相关内容

热门资讯

linux入门---制作进度条 了解缓冲区 我们首先来看看下面的操作: 我们首先创建了一个文件并在这个文件里面添加了...
C++ 机房预约系统(六):学... 8、 学生模块 8.1 学生子菜单、登录和注销 实现步骤: 在Student.cpp的...
A.机器学习入门算法(三):基... 机器学习算法(三):K近邻(k-nearest neigh...
数字温湿度传感器DHT11模块... 模块实例https://blog.csdn.net/qq_38393591/article/deta...
有限元三角形单元的等效节点力 文章目录前言一、重新复习一下有限元三角形单元的理论1、三角形单元的形函数(Nÿ...
Redis 所有支持的数据结构... Redis 是一种开源的基于键值对存储的 NoSQL 数据库,支持多种数据结构。以下是...
win下pytorch安装—c... 安装目录一、cuda安装1.1、cuda版本选择1.2、下载安装二、cudnn安装三、pytorch...
MySQL基础-多表查询 文章目录MySQL基础-多表查询一、案例及引入1、基础概念2、笛卡尔积的理解二、多表查询的分类1、等...
keil调试专题篇 调试的前提是需要连接调试器比如STLINK。 然后点击菜单或者快捷图标均可进入调试模式。 如果前面...
MATLAB | 全网最详细网... 一篇超超超长,超超超全面网络图绘制教程,本篇基本能讲清楚所有绘制要点&#...
IHome主页 - 让你的浏览... 随着互联网的发展,人们越来越离不开浏览器了。每天上班、学习、娱乐,浏览器...
TCP 协议 一、TCP 协议概念 TCP即传输控制协议(Transmission Control ...
营业执照的经营范围有哪些 营业执照的经营范围有哪些 经营范围是指企业可以从事的生产经营与服务项目,是进行公司注册...
C++ 可变体(variant... 一、可变体(variant) 基础用法 Union的问题: 无法知道当前使用的类型是什...
血压计语音芯片,电子医疗设备声... 语音电子血压计是带有语音提示功能的电子血压计,测量前至测量结果全程语音播报࿰...
MySQL OCP888题解0... 文章目录1、原题1.1、英文原题1.2、答案2、题目解析2.1、题干解析2.2、选项解析3、知识点3...
【2023-Pytorch-检... (肆十二想说的一些话)Yolo这个系列我们已经更新了大概一年的时间,现在基本的流程也走走通了,包含数...
实战项目:保险行业用户分类 这里写目录标题1、项目介绍1.1 行业背景1.2 数据介绍2、代码实现导入数据探索数据处理列标签名异...
记录--我在前端干工地(thr... 这里给大家分享我在网上总结出来的一些知识,希望对大家有所帮助 前段时间接触了Th...
43 openEuler搭建A... 文章目录43 openEuler搭建Apache服务器-配置文件说明和管理模块43.1 配置文件说明...