Tensorflow: Allocation of XXXXXX exceeds 10% of system memory 可能的原因
admin
2024-03-20 12:44:37
0次

在使用他人的项目代码时,遇到了这个问题

W T:\src\github\tensorflow\tensorflow\core\framework\allocator.cc:108]:Allocation of XXXXXX exceeds 10% of system memory

意思是方法分配的空间的大小超过了系统内存的10%

配置:Tensorflow 1.10.0,内存 128G

这算是一种Warning,而不是Error

在客观上无法马上扩展内存的情况下,仿佛只能通过减少数据量和模型参数量的角度进行修改

综合已有关于此问题的一些讨论[1][2],可能的角度如下,但不适用于所有可能的情况:

0、尽可能关闭其他占用内存较多的不必要的程序

1、减小batch_size

2、减少数据量,比如处理图片时先进行压缩

3、减少模型参数,比如层数和节点数

4、增加项目所在硬盘的虚拟内存交换分区的大小(swap file)

使用交换文件将内存作为 Amazon EC2 实例中的交换空间分配

5、指定物理设备是否内存生长,避免初始化时分配所有内存

tf.config.experimental.set_memory_growth  |  TensorFlow v2.11.0

6、改变优化函数,比如Adam会使用分配模型两倍的参数

7、避免使用大精度的数据类型,比如使用float32而不是float64

愿天堂没有bug

[1] python - Tensorflow Allocation Memory: Allocation of 38535168 exceeds 10% of system memory - Stack Overflow

[2] tensorflow/core/framework/allocator.cc:101] Allocation of X exceeds 10% of system memory. #18735 · Issue #18736 · tensorflow/tensorflow · GitHub

相关内容

热门资讯

AI做攻略、“双向奔赴”……国... 本文转自:人民网人民网记者 许维娜今年国庆假期,AI(人工智能)成了不少年轻人的“旅行搭子”。行前做...
合肥的这个“梗”, 翻篇了 社交平台的评论区,曾长期流传一句专属于合肥的黑色幽默。有人问合肥哪里好玩,本地网友半开玩笑地回复:合...
7万+旅游中高层都在的群,今天... 做旅游这行,资源卡位、渠道互通、项目落地——往往就差一个“对的机会”。我们的行业社群已聚集70,00...
一场帐篷音乐节,如何让井研从“... 帐篷音乐节现场封面新闻记者 周洪攀10月的研溪湿地,晚风里裹着柑橘的清甜与民谣的回响。夜幕降临,10...
白鹤翩翩落星愿,上海迪士尼度假... 10月9日,世界候鸟日前夕,上海迪士尼度假区星愿公园的湖风里多了一分白鹤的灵动。三座白鹤雕塑正式揭幕...
成都锦江边赏初秋枫叶飘飘 目前,成都锦江边国华街枫叶树红了。近年来,国华街附近的几条街都栽种了红枫树,是城区较集中看枫叶的点位...
GBTA:商务旅行正在复苏,但... 亚太正在成为全球商务旅行增长的重要引擎。在经历疫情后的快速反弹之后,全球商务旅行正在进入一个新的增长...
从景区焕新到节赛引流 邹城双节... 齐鲁网·闪电新闻10月9日讯 中秋、国庆“双节”假期,邹城市文化和旅游局提前谋划、周密部署,立足自身...
江山如此多娇 且看石楼今朝 金秋十月,黄河岸畔秋意盎然,丰收盛会喜迎国庆。本次石楼国庆文旅活动以“江山如此多娇,且看石楼今朝”为...
海南国庆假期接待游客475.4... 2026年国庆假期,海南接待游客475.40万人次,较2025年增长13.1%,较2024年增长15...