首页 Paddle框架 帖子详情
在paddle框架下读取数据集
收藏
快速回复
Paddle框架 问答深度学习 4346 21
在paddle框架下读取数据集
收藏
快速回复
Paddle框架 问答深度学习 4346 21

在使用任何一个深度学习框架时,都得学会如何读取数据集,尤其是如何读取自己的数据集,供模型进行训练。本文将介绍paddle框架下数据集的读取与处理。文章写在了aistudio项目集中,入口如下:

https://aistudio.baidu.com/aistudio/projectdetail/297738

0
收藏
回复
全部评论(21)
时间顺序
水水水的老师
#2 回复于2020-03

写的非常准确精炼。学到了

0
回复
水水水的老师
#3 回复于2020-03

可以写一下那些常用数据集里面包含了哪些数据

0
回复
AIStudio810258
#4 回复于2020-03

感谢分享。比自己写reader方便多了。

0
回复
学习委员
#5 回复于2020-03

写的很棒~

0
回复
学习委员
#6 回复于2020-03

加个QQ吧~想跟你定向约稿~980902922

0
回复
AI-BAI
#7 回复于2020-03
写的很棒~

多谢鼓励哈,以后一定多写一些优质内容

0
回复
AI-BAI
#8 回复于2020-03
可以写一下那些常用数据集里面包含了哪些数据

官方的那些数据集吗

0
回复
AI-BAI
#9 回复于2020-03
感谢分享。比自己写reader方便多了。

不客气啦,欢迎指正

0
回复
AI-BAI
#10 回复于2020-03

刚开始学,一直对reader这一块比较迷惑,因此写了这个notebook探究一下。我觉得这一块搞清楚了,基本在数据集的读取上就没有问题了,因此分享给大家,初学者刚开始,可能会有很多问题,多谢大家鼓励,也欢迎大家指正哈

0
回复
AIStudio186008
#11 回复于2020-03

感谢大佬分享,,确实每次写reader问题比较大

0
回复
AI-BAI
#12 回复于2020-03
感谢大佬分享,,确实每次写reader问题比较大

我也是刚搞清楚,大家共同进步!

0
回复
CChan
#13 回复于2020-03

感谢分享

0
回复
AIStudio810258
#14 回复于2020-03

这种方式封装的reader已经是并行读取的了吧?

0
回复
AI-BAI
#15 回复于2020-03
这种方式封装的reader已经是并行读取的了吧?

这个应该不算并行读取吧,

0
回复
AI-BAI
#16 回复于2020-03
CChan #13
感谢分享

客气客气

0
回复
AIStudio810258
#17 回复于2020-03
AI-BAI #15
这个应该不算并行读取吧,

试过把用这种方式封装的reader用paddle.reader.xmap_readers再封装成并行的么?

0
回复
AI-BAI
#18 回复于2020-03
试过把用这种方式封装的reader用paddle.reader.xmap_readers再封装成并行的么?

没有,我觉得可以尝试一下,

0
回复
CChan
#19 回复于2020-03
试过把用这种方式封装的reader用paddle.reader.xmap_readers再封装成并行的么?

xmap_readers的并行效果好像不太行,里面用了python的线程库,python的多线程很慢...

0
回复
AIStudio810258
#20 回复于2020-03
CChan #19
xmap_readers的并行效果好像不太行,里面用了python的线程库,python的多线程很慢...

有什么其他库,或方法并行读取?大佬不吝赐教。

0
回复
AIStudio810258
#21 回复于2020-03
CChan #19
xmap_readers的并行效果好像不太行,里面用了python的线程库,python的多线程很慢...

多线程读取能用C++写的库么?

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户