https://aistudio.baidu.com/aistudio/projectdetail/314179
拿刀把网线砍断了,所以你看不到它的内容【瞎猜】
你感觉word2vector的效率怎么样?我怎么感觉预测的词都比较奇怪?
我看你的那个CBOW的模型,预测时用的余弦相似度计算的,正向计算时没用。我在正向计算时也加了,结果可能是因为batch比较大吧,训练起来牛速,而且也感觉没多大效率的提高。
你是直接在4-2那个项目上改的吗
word2rec训练的时候好像不用计算相似度,它只是最大化中心词的概率,最小化其他负采样词的概率
是,4-2的预测结果,我感觉很奇怪。基本没啥规律。感觉老师不准学生偷懒。
我直接跑那个,跑到三、四万次batch时loss最低,0.2左右。然后再跑就上升了,升到0.4我就给停了。预测结果不理想。
你跑那个跑了多少batch?看你吃的CBOW也就跑了5万就挺有规律的了。
是不是这个作业老师有两个选项,除了可以做CBOW模型,还可以优化这个skip-gram的代码。老师留空间给大家优化吶?
跑到50000效果最好,再跑就有点飞了
我也感觉这个项目代码有坑,
项目的学习率貌似有问题,
我把学习率降低了一个量级,就得到这样的结果了,感觉还能再优化
这是什么鬼
图片没发出来,LZ链接打不开
楼主没公开项目
是那个公开版本检测微博假新闻吗?
打不开呀
楼主是在给我们一个水贴的机会
不好吧,现在可是不太好水贴
拿刀把网线砍断了,所以你看不到它的内容【瞎猜】
你感觉word2vector的效率怎么样?我怎么感觉预测的词都比较奇怪?
我看你的那个CBOW的模型,预测时用的余弦相似度计算的,正向计算时没用。我在正向计算时也加了,结果可能是因为batch比较大吧,训练起来牛速,而且也感觉没多大效率的提高。
你是直接在4-2那个项目上改的吗
word2rec训练的时候好像不用计算相似度,它只是最大化中心词的概率,最小化其他负采样词的概率
是,4-2的预测结果,我感觉很奇怪。基本没啥规律。感觉老师不准学生偷懒。
我直接跑那个,跑到三、四万次batch时loss最低,0.2左右。然后再跑就上升了,升到0.4我就给停了。预测结果不理想。
你跑那个跑了多少batch?看你吃的CBOW也就跑了5万就挺有规律的了。
是不是这个作业老师有两个选项,除了可以做CBOW模型,还可以优化这个skip-gram的代码。老师留空间给大家优化吶?
跑到50000效果最好,再跑就有点飞了
我也感觉这个项目代码有坑,
项目的学习率貌似有问题,
我把学习率降低了一个量级,就得到这样的结果了,感觉还能再优化
图片没发出来,LZ链接打不开
楼主没公开项目
是那个公开版本检测微博假新闻吗?
打不开呀
楼主是在给我们一个水贴的机会
不好吧,现在可是不太好水贴