首页 Paddle框架 帖子详情
DataLoader怎么才能用好?
收藏
快速回复
Paddle框架 问答深度学习 2224 36
DataLoader怎么才能用好?
收藏
快速回复
Paddle框架 问答深度学习 2224 36

用DataLoader读取内置的数据集,用内置的模型训练,报错。。。

0
收藏
回复
全部评论(36)
时间顺序
AIStudio810258
#2 回复于2021-02

有没有介绍多线程读取的例子或文档资料

0
回复
AIStudio810258
#3 回复于2021-02

from paddle.vision.datasets import FashionMNIST

mnist = FashionMNIST(mode='train')

# for i in range(10):
#     sample = mnist[i]
#     print(sample[0].size, sample[1])


from paddle.vision.models import resnet18
import paddle

rn = resnet18(num_classes=10)
model = paddle.Model(rn)
model.prepare(
    paddle.optimizer.Adam(learning_rate=0.001, parameters=model.parameters()),
    paddle.nn.CrossEntropyLoss(),
    paddle.metric.Accuracy(topk=(1, 5))
)

model.fit(mnist, epochs=2, batch_size=64, log_freq=1)

0
回复
AIStudio810258
#4 回复于2021-02

这段基本取自文档例程的代码怎么不通啊

0
回复
AIStudio810258
#5 回复于2021-02

也试过在fit时加入DataLoader

0
回复
AIStudio810258
#6 回复于2021-02

num_workers也设过0

0
回复
AIStudio810258
#7 回复于2021-02

https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/hapi/model/Model_cn.html#fit-train-data-none-eval-data-none-batch-size-1-epochs-1-eval-freq-1-log-freq-10-save-dir-none-save-freq-1-verbose-2-drop-last-false-shuffle-true-num-workers-0-callbacks-none

0
回复
AIStudio810258
#8 回复于2021-02
https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/hapi/model/Model_cn.html#fit-train-data-none-eval-data-none-batch-size-1-epochs-1-eval-freq-1-log-freq-10-save-dir-none-save-freq-1-verbose-2-drop-last-false-shuffle-true-num-workers-0-callbacks-none
展开

这里的例程跑通了,还是得好好看文档啊~

0
回复
AIStudio810259
#9 回复于2021-02

我也不会,太难了。。。

但是好多场景需要用到。

0
回复
七年期限
#10 回复于2021-02

哎 这种数据集错误的 没办法好像  也不知道哪里错了 只能去对比

0
回复
七年期限
#11 回复于2021-02
这段基本取自文档例程的代码怎么不通啊

是不是数据集不太一样

0
回复
七年期限
#12 回复于2021-02
num_workers也设过0

跟这个应该没关系

0
回复
七年期限
#13 回复于2021-02
我也不会,太难了。。。 但是好多场景需要用到。

+1

0
回复
AIStudio810258
#14 回复于2021-02
我也不会,太难了。。。 但是好多场景需要用到。

一起读源码~~

0
回复
AIStudio810258
#15 回复于2021-02
跟这个应该没关系

我试过,不管设为多少,似乎都启动了多个worker。。。

0
回复
AIStudio810258
#16 回复于2021-02
跟这个应该没关系

在__getitem__()里写个print,就能看出来

0
回复
七年期限
#17 回复于2021-02
一起读源码~~

最讨厌看源码了 哈哈

0
回复
七年期限
#18 回复于2021-02
我试过,不管设为多少,似乎都启动了多个worker。。。

这样吗?

0
回复
七年期限
#19 回复于2021-02
在__getitem__()里写个print,就能看出来

看输出几个? 怎么看呀

0
回复
dragonli0918
#20 回复于2021-03

查API就行

0
回复
七年期限
#21 回复于2021-03
查API就行

这个查api好像不行吧

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户