Paddle VisualDL 动态模型输出报错

ca1c2owp 于 2022-11-19 发布在其他

关注(0)|答案(9)|浏览(178)

bug描述 Describe the Bug

我们想在visualdl中输出模型结构，但一直报错，直接使用官方提供的示例也一样出错:"Failed to save model graph, error: ''"。

以下代码中有写下相关注释，即时尝试一个线性回归的简单模型，也一样出错

import numpy as np
import paddle
import paddle.nn as nn
import paddle.optimizer as opt
from paddle.static import InputSpec
from visualdl import LogWriter

BATCH_SIZE = 16
BATCH_NUM = 4
EPOCH_NUM = 4
IMAGE_SIZE = 784
CLASS_NUM = 10

writer = LogWriter(logdir="./log/graph_test02/")

define a random dataset

class RandomDataset(paddle.io.Dataset):
def init(self, num_samples):
self.num_samples = num_samples

def __getitem__(self, idx):
    image = np.random.random([IMAGE_SIZE]).astype('float32')
    label = np.random.randint(0, CLASS_NUM - 1, (1, )).astype('int64')
    return image, label

def __len__(self):
    return self.num_samples

class LinearNet(nn.Layer):
def init(self):
super(LinearNet, self).init()
self._linear = nn.Linear(IMAGE_SIZE, CLASS_NUM)

def forward(self, x):
    return self._linear(x)

def train(layer, loader, loss_fn, opt):
for epoch_id in range(EPOCH_NUM):
for batch_id, (image, label) in enumerate(loader()):
out = layer(image)
loss = loss_fn(out, label)
loss.backward()
opt.step()
opt.clear_grad()
print("Epoch {} batch {}: loss = {}".format(epoch_id, batch_id, np.mean(loss.numpy())))

create network

layer = LinearNet()
loss_fn = nn.CrossEntropyLoss()
adam = opt.Adam(learning_rate=0.001, parameters=layer.parameters())

create data loader

dataset = RandomDataset(BATCH_NUM * BATCH_SIZE)
loader = paddle.io.DataLoader(dataset,
batch_size=BATCH_SIZE,
shuffle=True,
drop_last=True,
num_workers=2)

train

train(layer, loader, loss_fn, adam)

save

path = "example.dy_model/linear"
paddle.jit.save(
layer=layer,
path=path,
input_spec=[InputSpec(shape=[None, 784], dtype='float32')])

writer.add_graph(model=layer, input_spec=[paddle.static.InputSpec(shape=[None, 784], dtype='float32')], verbose=False)
writer.close()

报错同样发生在这里

writer.add_graph(model=layer, input_spec=[paddle.static.InputSpec(shape=[None, 784], dtype='float32')], verbose=False)

报错时，运行中的代码如下：
import paddle
from paddle import Tensor
import paddle.fluid as fluid
from typing import *
import numpy as np
def forward(self, x):
return paddle.jit.dy2static.convert_call(self._linear)(x)

此內容为paddle运行过程中产生，此外报错并非发生在训练过程中，而是单纯发生在add_graph的方法上。

其他补充信息 Additional Supplementary Information

No response

Paddle

来源：https://github.com/PaddlePaddle/Paddle/issues/45414

9条答案

按热度按时间

uxh89sit1#

您好，我们已经收到了您的问题，会安排技术人员尽快解答您的问题，请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时，您也可以通过查看官网API文档、常见问题、历史Issue 、 AI社区来寻求解答。祝您生活愉快～

Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the API ， FAQ ， Github Issue and AI community to get the answer.Have a nice day!

赞(0）回复(0）举报 2022-11-19

egmofgnx2#

你好，visualdl可视化的模型应该是动态模型，应该是你这里paddle.jit.save导致的问题。
可以参考官方使用示例：
https://github.com/PaddlePaddle/VisualDL/blob/develop/docs/components/README_CN.md#Graph--%E7%BD%91%E7%BB%9C%E7%BB%93%E6%9E%84%E7%BB%84%E4%BB%B6

赞(0）回复(0）举报 2022-11-19

nfzehxib3#

你好，visualdl可视化的模型应该是动态模型，应该是你这里paddle.jit.save导致的问题。可以参考官方使用示例： https://github.com/PaddlePaddle/VisualDL/blob/develop/docs/components/README_CN.md#Graph--%E7%BD%91%E7%BB%9C%E7%BB%93%E6%9E%84%E7%BB%84%E4%BB%B6

您好，感谢回复，但“paddle.jit.save”我们代码中是没有写的，我们只是写了这么一句“ writer.add_graph(model=layer, input_spec=[paddle.static.InputSpec(shape=[None, 784], dtype='float32')], verbose=False) ”，我们是通过debug进去看到里面有调用到"paddle.jit.save"，所以是否本身Paddle上这个add_graph函数有问题，谢谢！

赞(0）回复(0）举报 2022-11-19

h22fl7wq4#

不是的，这段报错本身就是静态图模型才会出现的现象。我如果没有看错的话save下面这段代码是保存静态图的
paddle.jit.save(
layer=layer,
path=path,
input_spec=[InputSpec(shape=[None, 784], dtype='float32')])

不管怎样，先确认add_graph传的layer模型是动态图模型吧

赞(0）回复(0）举报 2022-11-19

m4pnthwp5#

不是的，这段报错本身就是静态图模型才会出现的现象。我如果没有看错的话save下面这段代码是保存静态图的 paddle.jit.save( layer=layer, path=path, input_spec=[InputSpec(shape=[None, 784], dtype='float32')])

不管怎样，先确认add_graph传的layer模型是动态图模型吧

感谢您的快速回复，抱歉之前描述的地方让你误解了，我们实际直接使用官方Sample代码（里面是没有paddle.jit.save）的，也是在add_graph中报错，而我们为了追踪为什么报错，所以我们Debug到了add_graph内部，然后paddle框架自己生成出来了这个paddle.jit.save这样代码，然后有报错，具体请参考我这个补充的附件，谢谢！
20220829 Paddle visualdl 動態模型 sample error.docx

赞(0）回复(0）举报 2022-11-19

kkih6yb86#

@zhiboniu 大牛，不知道这个问题，我有没有描述清楚，你那边有没有什么更新，感谢！

赞(0）回复(0）举报 2022-11-19

oalqel3c7#

你好，已经收到你的反馈，我这边跑你贴的doc里的代码是可以正常执行成功的诶，要不你反馈一下你的环境信息，比如paddle的版本和VisualDL的版本。

赞(0）回复(0）举报 2022-11-19

pbossiut8#

你好，已经收到你的反馈，我这边跑你贴的doc里的代码是可以正常执行成功的诶，要不你反馈一下你的环境信息，比如paddle的版本和VisualDL的版本。

抱歉迟了回复，我们的环境如下：
paddlefsl 1.1.0
paddlenlp 2.4.0
paddlepaddle 2.3.0
vc 14.2
visualdl 2.3.0
vs2015_runtime 14.27.29016

conda lists: