关于MNIST数据下载的问题太慢的问题
收藏
关于“课程4-深度学习入门CV-手写数字识别”中MNIST数据下载的太慢问题。
正在带学生使用AIStudio进行图像处理实验。
每次上课登录百度AIStudio之后,运行这个项目的时候,都需要重新下载MNIST,有时候需要十几分钟。实际课堂中用来做实验的时间只有半个小时左右,如果下载太慢的话,没法完成后续的程序修改和实验结果分析。
请问如何设置,能保证每次登录百度AIStudio之后,能尽快准备好数据。
1
收藏
请登录后评论
这个只要阅读一下Paddle源码, 把下载源码的位置指向本地数据集即可. AI Studio内部是有MNIST数据集的.
你好,不明白怎么把“下载源码的位置指向本地数据集”。
我应该怎么修改我的代码呢?
非常感谢您的回复。但是我还是不明白怎么把“下载源码的位置指向本地数据集”。
我应该怎么修改我的代码呢?
可以吧数据集解压到根目录下,下次就不用下载了
https://github.com/PaddlePaddle/Paddle/blob/release/1.5/python/paddle/dataset/mnist.py#L88
看完这个就知道怎么改了.
多谢!问题已经解决。
在下面这个示例中,我整理了几种解决方法。
课程4-深度学习入门CV-手写数字识别-免下载
https://aistudio.baidu.com/aistudio/projectdetail/152100
感谢楼主分享,学习了。
棒棒哒~~ 应该把这个写到官方案例里
多谢鼓励啦!
非常感谢,我做这个项目有时候也是要花好多时间准备数据集,非常苦恼
首先,说说这个问题的来源。这个问题来源于老版本的paddlepaddle从原始地址下载数据集,因此速度很慢,从而第一办法修改paddle版本改为更新的版本(下载接口用的是新的下载地址,速度很快)
其次,如果不打算换paddlepaddle版本的话,可以预先下载数据集后在项目上直接挂载数据集
paddle框架也自带一些流行数据集的专用reader
本地下载mnist 上传一个mnist数据集 然后倒入mnist数据集即可
公开数据集好像mnist在aistudio数据集板块直接有
链接是这个https://aistudio.baidu.com/aistudio/datasetdetail/65
可以直接挂载
谢谢
修改项目,挂载数据集。
不用下载,,可以启动时挂载就行,,实在不行空时间下载到本地,,到时候创建项目上传就行