aistudio 中项目的终端使用
收藏
近期在学习爬虫相关问题,在aistudio平台的jupyter中使用,但数据较大,能否通过项目的终端安装MySQL,将数据下载至MySQL中呢?
1
收藏
请登录后评论
那肯定是不行的……
装数据库肯定是非常麻烦的,不妨考虑下,把爬出来的数据保存成txt格式啊
如果是结构化的,存成json格式也行……
装数据库经常要权限的,aistudio不可能给的,不然大家都别想用了,挖坑的早就把这攻陷了
你可以保存为csv平面文件,然后下载了再导入数据库。。。
几十个G都不成问题的。
一般是不要超过5G比较好……
早期的文件系统很多单文件不能超过5G,我记得是这样
上传到数据集里,挂载,很方便
爬点有趣的数据大家都能用~~~~
就是得注意版权、隐私之类的问题
突然想到,sqlite行不?
就是存储,又不架服务器
就是有一个问题,存储文件多了,进出项目会很慢,要保存数据