spconv 轻量级神经网络压缩模型

Luna_Lovegood_001

1099人浏览 · 2020-11-13 21:45:03

Luna_Lovegood_001 · 2020-11-13 21:45:03 发布

小记：spconv是一种可插拔模型，即可以用在几乎任何模型中。因为它将一般模型中的Conv3 ** 3换成了一种新的模型（效果和Conv3** 3一样，但是计算量比较小），模型的其他的地方不变。这种轻量级网络目的是：小、快。但今天在实现的时候发现实际情况不是这样。

模型

在这里插入图片描述
就是把原来的3*3conv换成上面所示的结构。

结果

以vgg19为baseline。
参数量方面：从20M（vgg19）降低到7M。
推理速度方面：训练一个batch的时间却提高了。
在这里插入图片描述
以上是vgg——baseline的训练时间（Time）

在这里插入图片描述
以上是改进后的训练时间（Time）

魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

小参数・大码力・易部署 | Qwen3.6-27B上线魔乐社区，基于昇腾的部署教程来了

继一周前模型开源发布后，千问再度开源Qwen3.6-27B —— 一个拥有270亿参数的稠密多模态模型，也是社区呼声最高的模型规格。Qwen3.6-27B 依然支持多模态思考与非思考模式，在智能体编程方面达到了旗舰级表现，全面超越前代开源旗舰 Qwen3.5-397B-A17B（总参数397B / 激活参数17B的MoE模型）。作为稠密架构，它无需MoE路由即可部署，是开发者在实用、可广泛部署规模