英伟达Jim Fan:如何构建开放世界中的通用智能体?|钛媒体AGI 英伟达Jim Fan:如何构建开放世界中的通用智能体?|钛媒体AGI
admin
2024-03-26 09:43:45
0次

从AlphaGo、MineCLIP,到Voyager、Eureka、Groot,从具身化(Embodiment)和技能(Skill),从单一形态到多形态,英伟达在“具身智能”和 AI 智能体方面进行了多年的布局研究,希望能在 AI 通用体方面有所成果。

目前,英伟达拥有多模态具身智能系统Nvidia VIMA,其能在视觉文本提示的指导下,执行复杂任务、获取概念、理解边界、甚至模拟物理学——这也标志着 AI 能力的显著进步。

“我相信,训练这种基础智能体的过程将和 ChatGPT 非常相似。所有的语言任务都可以被归类为文本输入和输出,无论是写诗、翻译,还是做数学。训练 ChatGPT 就是在大量的文本数据上进行扩大。同样的,基础智能体会接受一个实体化提示词和指令提示词作为输入,然后输出行动指令。我们只需在大量环境中大规模扩大它。
基础智能体是 GearLab 的下一章。昨天,老黄在他的主题演讲中宣布了我们路线图上的一项重要倡议,即 Groot 项目。我们的目标是为人形机器人构建一个基础模型。为什么要选择人形呢?因为这是最通用的形式。我们所生活的世界是为了适应人类和人类的习惯而形成的。理论上,我们在日常生活中可以做到的所有事情,都可以在足够先进的人形机器人硬件上实现。因此,我非常兴奋能与全球多家领先的人形机器人公司合作,使得 Groot 能够在不同的实体之间进行迁移。在一个更高的层面上,Groot 可以接受包括语言、视频和示范等多模态指令,并在模拟以及真实世界中开发技能。”Jim Fan表示。


Jim Fan指出,如今Groot项目的目标,是为最通用的人形机器人打造基础模型,通过海量环境训练获得通用性,并与各种基础设施共建生态。而且,未来新的人形机器人不仅会搭载Jensen Thor芯片,并有望在边缘计算设备上驱动Groot。

“Groot 是在 OSPO 上诞生的,这是一个新的计算调度系统,用于在 DGX 上提升模型的规模,以及在 OVX 上进行模拟。我们在 Isaac 实验室为人形机器人运行了许多不同的环境,期望模型能适应各种技能和环境,并能在模拟与真实的场景间无缝迁移,以便我们可以大规模扩展训练,利用 GPU 加速的模拟环境。”Jim Fan在演讲中指出。

Jim Fan强调,GEAR 实验室是一项以使命为驱动的研究。“通用 AI 之路任重道远,GEAR 实验室正朝着这一使命不懈努力。”

(本文首发钛媒体App,作者|林志佳)

相关内容

热门资讯

AI做攻略、“双向奔赴”……国... 本文转自:人民网人民网记者 许维娜今年国庆假期,AI(人工智能)成了不少年轻人的“旅行搭子”。行前做...
合肥的这个“梗”, 翻篇了 社交平台的评论区,曾长期流传一句专属于合肥的黑色幽默。有人问合肥哪里好玩,本地网友半开玩笑地回复:合...
7万+旅游中高层都在的群,今天... 做旅游这行,资源卡位、渠道互通、项目落地——往往就差一个“对的机会”。我们的行业社群已聚集70,00...
一场帐篷音乐节,如何让井研从“... 帐篷音乐节现场封面新闻记者 周洪攀10月的研溪湿地,晚风里裹着柑橘的清甜与民谣的回响。夜幕降临,10...
白鹤翩翩落星愿,上海迪士尼度假... 10月9日,世界候鸟日前夕,上海迪士尼度假区星愿公园的湖风里多了一分白鹤的灵动。三座白鹤雕塑正式揭幕...
成都锦江边赏初秋枫叶飘飘 目前,成都锦江边国华街枫叶树红了。近年来,国华街附近的几条街都栽种了红枫树,是城区较集中看枫叶的点位...
GBTA:商务旅行正在复苏,但... 亚太正在成为全球商务旅行增长的重要引擎。在经历疫情后的快速反弹之后,全球商务旅行正在进入一个新的增长...
从景区焕新到节赛引流 邹城双节... 齐鲁网·闪电新闻10月9日讯 中秋、国庆“双节”假期,邹城市文化和旅游局提前谋划、周密部署,立足自身...
江山如此多娇 且看石楼今朝 金秋十月,黄河岸畔秋意盎然,丰收盛会喜迎国庆。本次石楼国庆文旅活动以“江山如此多娇,且看石楼今朝”为...
海南国庆假期接待游客475.4... 2026年国庆假期,海南接待游客475.40万人次,较2025年增长13.1%,较2024年增长15...