首页 PaddleCV 帖子详情
关于MNIST数据下载的问题太慢的问题
收藏
快速回复
PaddleCV 问答图像分类 4725 20
关于MNIST数据下载的问题太慢的问题
收藏
快速回复
PaddleCV 问答图像分类 4725 20

关于“课程4-深度学习入门CV-手写数字识别”中MNIST数据下载的太慢问题。

正在带学生使用AIStudio进行图像处理实验。

每次上课登录百度AIStudio之后,运行这个项目的时候,都需要重新下载MNIST,有时候需要十几分钟。实际课堂中用来做实验的时间只有半个小时左右,如果下载太慢的话,没法完成后续的程序修改和实验结果分析。

请问如何设置,能保证每次登录百度AIStudio之后,能尽快准备好数据。

 

1
收藏
回复
全部评论(20)
时间顺序
AIStudio810261
#2 回复于2019-10

这个只要阅读一下Paddle源码, 把下载源码的位置指向本地数据集即可. AI Studio内部是有MNIST数据集的. 

0
回复
xushifang
#3 回复于2019-10

你好,不明白怎么把“下载源码的位置指向本地数据集”。

我应该怎么修改我的代码呢?

0
回复
xushifang
#4 回复于2019-10
这个只要阅读一下Paddle源码, 把下载源码的位置指向本地数据集即可. AI Studio内部是有MNIST数据集的. 

非常感谢您的回复。但是我还是不明白怎么把“下载源码的位置指向本地数据集”。

我应该怎么修改我的代码呢?

0
回复
w
wangwei8638
#5 回复于2019-10
非常感谢您的回复。但是我还是不明白怎么把“下载源码的位置指向本地数据集”。 我应该怎么修改我的代码呢?

可以吧数据集解压到根目录下,下次就不用下载了

0
回复
AIStudio810261
#6 回复于2019-10
非常感谢您的回复。但是我还是不明白怎么把“下载源码的位置指向本地数据集”。 我应该怎么修改我的代码呢?

https://github.com/PaddlePaddle/Paddle/blob/release/1.5/python/paddle/dataset/mnist.py#L88

 

看完这个就知道怎么改了. 

1
回复
xushifang
#7 回复于2019-10
https://github.com/PaddlePaddle/Paddle/blob/release/1.5/python/paddle/dataset/mnist.py#L88   看完这个就知道怎么改了. 
展开

多谢!问题已经解决。

在下面这个示例中,我整理了几种解决方法。

课程4-深度学习入门CV-手写数字识别-免下载

https://aistudio.baidu.com/aistudio/projectdetail/152100

0
回复
r
rose20135188
#8 回复于2019-10

感谢楼主分享,学习了。

0
回复
AIStudio810261
#9 回复于2019-10
多谢!问题已经解决。 在下面这个示例中,我整理了几种解决方法。 课程4-深度学习入门CV-手写数字识别-免下载 https://aistudio.baidu.com/aistudio/projectdetail/152100
展开

棒棒哒~~ 应该把这个写到官方案例里

0
回复
xushifang
#10 回复于2019-10
棒棒哒~~ 应该把这个写到官方案例里

多谢鼓励啦!

1
回复
AI-BAI
#11 回复于2020-02
多谢!问题已经解决。 在下面这个示例中,我整理了几种解决方法。 课程4-深度学习入门CV-手写数字识别-免下载 https://aistudio.baidu.com/aistudio/projectdetail/152100
展开

非常感谢,我做这个项目有时候也是要花好多时间准备数据集,非常苦恼

0
回复
星光ld1
#12 回复于2020-02

首先,说说这个问题的来源。这个问题来源于老版本的paddlepaddle从原始地址下载数据集,因此速度很慢,从而第一办法修改paddle版本改为更新的版本(下载接口用的是新的下载地址,速度很快)

0
回复
星光ld1
#13 回复于2020-02

其次,如果不打算换paddlepaddle版本的话,可以预先下载数据集后在项目上直接挂载数据集

0
回复
AIStudio810258
#14 回复于2020-02

paddle框架也自带一些流行数据集的专用reader

0
回复
水水水的老师
#15 回复于2020-02

本地下载mnist   上传一个mnist数据集  然后倒入mnist数据集即可

0
回复
星光ld1
#16 回复于2020-02
本地下载mnist   上传一个mnist数据集  然后倒入mnist数据集即可

公开数据集好像mnist在aistudio数据集板块直接有

0
回复
星光ld1
#17 回复于2020-02
本地下载mnist   上传一个mnist数据集  然后倒入mnist数据集即可

链接是这个https://aistudio.baidu.com/aistudio/datasetdetail/65

可以直接挂载

0
回复
水水水的老师
#18 回复于2020-02
星光ld1 #17
链接是这个https://aistudio.baidu.com/aistudio/datasetdetail/65 可以直接挂载

谢谢

0
回复
AIStudio810258
#19 回复于2020-02

修改项目,挂载数据集。

0
回复
AIStudio810258
#20 回复于2020-02

0
回复
AIStudio186008
#21 回复于2020-02

不用下载,,可以启动时挂载就行,,实在不行空时间下载到本地,,到时候创建项目上传就行

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户