跑了一个知识蒸馏，然后知识蒸馏在AIStudioGPU环境跑的时候，蒸馏后的模型大小没有发生变化。
但是在本地WinodowsGPU环境下，模型大小由32M缩小为了20M，windowsCPU环境下模型大小更是32M缩小为了15M.不知道哪里有问题。
这个会不会和GPU的，cpu的显存什么的存在关系，可以看一下最后的效果，应该是不一样的
其实这个应该是可以比较一下参数的。 用model.state_dict() 保存模型， 然后读取两个不同大小的模型，打印出来整个模型所有的层，和层的shape，看看是否是某些层参数减少了。如果模型参数量是一致的，那我觉得可能要考虑是不是不同环境用的压缩算法啥的不一样...
这个会不会和GPU的，cpu的显存什么的存在关系，可以看一下最后的效果，应该是不一样的
其实这个应该是可以比较一下参数的。 用model.state_dict() 保存模型， 然后读取两个不同大小的模型，打印出来整个模型所有的层，和层的shape，看看是否是某些层参数减少了。如果模型参数量是一致的，那我觉得可能要考虑是不是不同环境用的压缩算法啥的不一样...