Paddle 读取数据

unftdfkk 于 4个月前发布在其他

关注(0)|答案(5)|浏览(35)

bug描述 Describe the Bug

使用多进程读取数据得到data，然后paddle.io.Dataset使用包装，报如下错误：

C++ Traceback (most recent call last):

No stack trace in paddle, may be caused by external reasons.

Error Message Summary:

FatalError: Termination signal is detected by the operating system.
[TimeInfo: *** Aborted at 1675943865 (unix time) try "date -d @1675943865" if you are using GNU date ***]
[SignalInfo: *** SIGTERM (@0x7ad6) received by PID 31517 (TID 0x7f5edaec2700) from PID 31446 ***]

是一个偶现的问题，请问有什么解决方案吗？用pytorch可以正常运行。

其他补充信息 Additional Supplementary Information

No response

Paddle

来源：https://github.com/PaddlePaddle/Paddle/issues/50390

5条答案

按热度按时间

deyfvvtc1#

您好，我们已经收到了您的问题，会安排技术人员尽快解答您的问题，请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时，您也可以通过查看官网API文档、常见问题、历史Issue 、 AI社区来寻求解答。祝您生活愉快～

Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the API ， FAQ ， Github Issue and AI community to get the answer.Have a nice day!

赞(0）回复(0）举报 4个月前

55ooxyrt2#

https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/io/DataLoader_cn.html#dataloader
dataloader多进程在文档中有描述，可以先参照下文档说明

赞(0）回复(0）举报 4个月前

tyu7yeag3#

https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/io/DataLoader_cn.html#dataloader dataloader多进程在文档中有描述，可以先参照下文档说明

我是自己用多进程读取的数据放到一个list中，然后使用paddle.io.Dataset进行了封装，没有使用dataloader

赞(0）回复(0）举报 4个月前

kse8i1jr4#

建议尝试下dataloader吧。

赞(0）回复(0）举报 4个月前

o7jaxewo5#