Paddle 去掉最后一层的softmax激活函数后,参数出现大量-nan

pbpqsu0x  于 2022-10-20  发布在  其他
关注(0)|答案(4)|浏览(325)

为使您的问题得到快速解决,在建立Issues前,请您先通过如下方式搜索是否有相似问题:【搜索issue关键字】【使用labels筛选】【官方文档】

如果您没有查询到相似问题,为快速解决您的提问,建立issue时请提供如下细节信息:

  • 标题:简洁、精准概括您的问题,例如“Insufficient Memory xxx" ”
  • 版本、环境信息:

   1)PaddlePaddle版本:请提供您的PaddlePaddle版本号,例如1.1或CommitID
   2)CPU:预测若用CPU,请提供CPU型号,MKL/OpenBlas/MKLDNN/等数学库使用情况
   3)GPU:预测若用GPU,请提供GPU型号、CUDA和CUDNN版本号
   4)系统环境:请您描述系统类型、版本,例如Mac OS 10.14,Python版本

  • 训练信息

   1)单机/多机,单卡/多卡
   2)显存信息
   3)Operator信息

  • 复现信息:如为报错,请给出复现环境、复现步骤
  • 问题描述:请详细描述您的问题,同步贴出报错信息、日志、可复现的代码片段

Thank you for contributing to PaddlePaddle.
Before submitting the issue, you could search issue in the github in case that there was a similar issue submitted or resolved before.
If there is no solution,please make sure that this is a training issue including the following details:

System information

-PaddlePaddle version (eg.1.1)or CommitID
-CPU: including CPUMKL/OpenBlas/MKLDNN version
-GPU: including CUDA/CUDNN version
-OS Platform (eg.Mac OS 10.14)
-Other imformation: Distriuted training/informantion of operator/
Graphics card storage

To Reproduce

Steps to reproduce the behavior

Describe your current behavior
Code to reproduce the issue
Other info / logs

bsxbgnwa

bsxbgnwa1#

非官方回复
softmax后面接的是交叉熵吧
交叉熵里有log,如果没有softmax激活,模型输出的值域应该是负无穷到正无穷

log负数出现nan很正常,进而导致梯度nan和参数nan

9rygscc1

9rygscc12#

我这个求交叉熵之前模型输出的值域是0到1~,

js5cn81o

js5cn81o3#

@leiyahui 方便提供一下运行环境,可复现代码,以及具体的报错信息嘛?

shstlldc

shstlldc4#

@leiyahui 方便提供一下运行环境,可复现代码,以及具体的报错信息嘛?
我hi你环境

相关问题