如果维度非常多 怎么样进行多维度数据分析?
其中每2组数据组合起来都能发现一些结论
老师果然喜欢留这种思考题哈哈
不过我喜欢!
多维其实就是多特征, 我觉得应该把某些不重要的维度先消掉, 然后丢给万能的卷积分析好了, 搭一个VGG19也很快
扔到树模型里做特征选择,最后经常发现大部分都没用
我有一百多万条数据 每条数据都是一百多个维度
我先做EDA
如果全部做关联 就有C(192,2)个数据分析项
这些数据的权重也没有特别高的
做PCA效果也不是很理想
哈哈 这个不是
前一百多项数据大部分都有用
而且前期我先做一些分析报告
我不是建模型
前期主要还是分析为主
做EDA要看业务经验吧?
既然主成分分析没效果,可不可以分而治之。
是想考虑怎么降维吧
我还是觉得pandas可以一战!
看看能不能划分出维度之间的相关性
降到一百度维度
其中每2组数据组合起来都能发现一些结论
老师果然喜欢留这种思考题哈哈
不过我喜欢!
多维其实就是多特征, 我觉得应该把某些不重要的维度先消掉, 然后丢给万能的卷积分析好了, 搭一个VGG19也很快
扔到树模型里做特征选择,最后经常发现大部分都没用
我有一百多万条数据 每条数据都是一百多个维度
我先做EDA
如果全部做关联 就有C(192,2)个数据分析项
这些数据的权重也没有特别高的
做PCA效果也不是很理想
哈哈 这个不是
前一百多项数据大部分都有用
而且前期我先做一些分析报告
我不是建模型
前期主要还是分析为主
做EDA要看业务经验吧?
既然主成分分析没效果,可不可以分而治之。
是想考虑怎么降维吧
我还是觉得pandas可以一战!
看看能不能划分出维度之间的相关性
降到一百度维度