Paddle paddle中使用自定义数据集，设置shuffle为False，显存溢出

e4yzc0pl 于 2021-12-07 发布在 Java

关注(0)|答案(4)|浏览(530)

版本、环境信息：
1）PaddlePaddle版本：2.0
2）CPU：i5-9300H
3）GPU：GTX1660Ti、cudatoolkit=10.2和CUDNN=7.6.5
4）系统环境：系统Windows 10 企业版、版本21H1，Python3.7

在shuffle设置为True时，显存占用约1.4g，下图为设置为True时

在shuffle设置为False时，显存会溢出，下图为设置为False时

两者均在同一环境下测试，以下为dataset定义

最长的data返回仅为[3000+,800]

Paddle

来源：https://github.com/PaddlePaddle/Paddle/issues/33646

4条答案

按热度按时间

neskvpey1#

您好，我们已经收到了您的问题，会安排技术人员尽快解答您的问题，请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时，您也可以通过查看官网API文档、常见问题、历史Issue、AI社区来寻求解答。祝您生活愉快～

Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the API，FAQ，Github Issue and AI community to get the answer.Have a nice day!

赞(0）回复(0）举报 2021-12-07

cotxawn72#

你好，DataLoader是不占用显存的，除了DataLoader还有其他模块么，或者单独测下DataLoader输入输出试下呢

赞(0）回复(0）举报 2021-12-07

r7s23pms3#

好的，我进行测试一下

赞(0）回复(0）举报 2021-12-07

cnwbcb6i4#

仅有DataLoader模块设置为shuffle=False，并进行以下数据取出操作