OpenAI为何取消GPT-4 Turbo相关限制并上调速率?丨科技观察 open ai开放gpt4的影响 open ai关闭gpt4
admin
2024-02-22 09:51:48
0次

来源:封面新闻

封面新闻记者 车家竹

在自然语言处理领域中,机器学习模型通常以token作为其输入单位。对于ChatGPT这样的大型语言模型,token可以被理解为文本中的最小单位。ChatGPT将输入文本拆分成一个个token,使模型能够对其进行处理和理解。

近日,OpenAI在社交平台宣布,取消了GPT-4 Turbo的所有每日限制,并将速率限制提升1倍。现在,每分钟可处理高达150万Token数据。从ChatGPT增加 “记忆存储”,到视频模型Sora再到GPT-4 Turbo全面取消每日限制,一周来OpenAI的这套“连续王炸组合拳”持续出击......

记者查阅资料发现,GPT-4 Turbo在2023年11月召开的DevDay上首次亮相,是目前OpenAI已公布最强大的模型。相比GPT-4,GPT-4 Turbo可在单个任务中处理超过300页的文本,且输入token价格是GPT-4的三分之一,输出token价格是GPT-4的二分之一。


取消GPT-4 Turbo的所有每日限制,并将速率限制提升1倍

为何进行速率限制?

有助于防止恶意攻击和滥用行为

OpenAI表示,速率限制是对开发者或产品用户,在指定时间段内访问OpenAI服务器的次数增加的一种服务限制。

2月21日,中国信息协会常务理事朱克力在接受封面新闻记者采访时表示,“OpenAI进行速率限制主要是出于三个方面的考虑。一是为了保护其强大的AI模型,防止因过度使用而导致的性能下降或损坏。毕竟,这些模型是OpenAI花费大量时间和资源训练出来的,必须妥善维护,同时OpenAI作为初创公司资源有限,AI大模型消耗资源巨大。二是为了确保所有用户都能获得稳定、可靠的服务。如果没有速率限制,一些用户可能会过度消耗资源,导致其他用户的服务质量下降。三是速率限制也有助于防止恶意攻击和滥用行为,从而维护整个系统的安全性和稳定性。”

速率限制有哪些种类?

最常见的是基于时间的限制

速率限制则是OpenAI对开发者或产品用户,在指定时间段内访问其服务器的次数增加的一种服务限制。目前,OpenAI一共使用了5种速率限制:RPM(每分钟请求数)、RPD(每天请求数)、TPM(每分钟tokens数量)、TPD(每天tokens数量)和IPM(每分钟图像数量);其中任何一种请求都可能触发速率限制。

“OpenAI的速率限制有多种类型。最常见的是基于时间的限制,比如每分钟、每小时或每天可以发送的请求次数。这种限制可以确保用户在一定时间内不会过度使用服务。此外,还有基于数据量的限制,比如每次请求可以处理的数据量或每天可以处理的总数据量。这种限制可以防止用户发送过大的请求,从而保护系统的处理能力。”朱克力解释道。


资料图

如何避免速率限制?

用户需合理规划请求的频率和数量

OpenAI表示,最简单的避免速率限制方法,就是使用“指数退避重试”。指数退避重试能在连续的失败尝试之间引入逐渐增加的延迟,以减少对服务器或网络资源的压力,增加后续尝试成功的可能性。

对此,朱克力向记者表示:“要避免速率限制,用户可以采取一些策略。首先,要合理规划请求的频率和数量,避免在短时间内发送大量请求。其次,可尝试分批处理数据,将大请求拆分成多个小请求,以减少单次请求的负担。同时,用户还可以考虑使用缓存技术,将已经处理过的数据保存起来,避免重复请求相同的数据。此外,与OpenAI保持良好的沟通也很重要,如果用户确有特殊需求需突破速率限制,可以向OpenAI申请提升限制或购买更高级别的服务。”但需要注意的是,速率限制是对组织级别实施的,对一般个体用户并无影响,且速率限制因所使用的模式而异,用户可以在账户设置中的 “限制”板块查看速率和使用限制。

最后,朱克力还补充道:“OpenAI的速率限制是为了保护其宝贵的AI资源和确保所有用户都能获得高质量的服务,用户在理解和尊重这些限制的同时应采取有效措施避免触发,共同维护一个稳定、安全、高效的AI生态环境。”

相关内容

热门资讯

AI做攻略、“双向奔赴”……国... 本文转自:人民网人民网记者 许维娜今年国庆假期,AI(人工智能)成了不少年轻人的“旅行搭子”。行前做...
合肥的这个“梗”, 翻篇了 社交平台的评论区,曾长期流传一句专属于合肥的黑色幽默。有人问合肥哪里好玩,本地网友半开玩笑地回复:合...
7万+旅游中高层都在的群,今天... 做旅游这行,资源卡位、渠道互通、项目落地——往往就差一个“对的机会”。我们的行业社群已聚集70,00...
一场帐篷音乐节,如何让井研从“... 帐篷音乐节现场封面新闻记者 周洪攀10月的研溪湿地,晚风里裹着柑橘的清甜与民谣的回响。夜幕降临,10...
白鹤翩翩落星愿,上海迪士尼度假... 10月9日,世界候鸟日前夕,上海迪士尼度假区星愿公园的湖风里多了一分白鹤的灵动。三座白鹤雕塑正式揭幕...
成都锦江边赏初秋枫叶飘飘 目前,成都锦江边国华街枫叶树红了。近年来,国华街附近的几条街都栽种了红枫树,是城区较集中看枫叶的点位...
GBTA:商务旅行正在复苏,但... 亚太正在成为全球商务旅行增长的重要引擎。在经历疫情后的快速反弹之后,全球商务旅行正在进入一个新的增长...
从景区焕新到节赛引流 邹城双节... 齐鲁网·闪电新闻10月9日讯 中秋、国庆“双节”假期,邹城市文化和旅游局提前谋划、周密部署,立足自身...
江山如此多娇 且看石楼今朝 金秋十月,黄河岸畔秋意盎然,丰收盛会喜迎国庆。本次石楼国庆文旅活动以“江山如此多娇,且看石楼今朝”为...
海南国庆假期接待游客475.4... 2026年国庆假期,海南接待游客475.40万人次,较2025年增长13.1%,较2024年增长15...