Pytorch如何约束神经网络中权重/偏置的范围
方法一：首先编写模型结构：class Model(nn.Module):def __init__(self):super(Model,self).__init__()self.l1=nn.Linear(100,50)self.l2=nn.Linear(50,10)self.l3=nn.Linear(10,1)...
·
笔者由于在做可解释机器学习，后来在pytorch的discussion上终于找到了相应的解决方案，应该是全中文社区唯一能用的，英文社区也只仅有一个地方提到了这个，这里给大家看下我是怎么实现约束神经网络的权重和偏置的。
方法一：
首先编写模型结构：
class Model(nn.Module):
def __init__(self):
super(Model,self).__init__()
self.l1=nn.Linear(100,50)
self.l2=nn.Linear(50,10)
self.l3=nn.Linear(10,1)
self.sig=nn.Sigmoid()
def forward(self,x):
x=self.l1(x)
x=self.l2(x)
x=self.l3(x)
x=self.sig(x)
return(x
然后编写限制权重范围的类：
class weightConstraint(object):
def __init__(self):
pass
def __call__(self,module):
if hasattr(module,'weight'):
print("Entered")
w=module.weight.data
w=w.clamp(0.5,0.7) #将参数范围限制到0.5-0.7之间
module.weight.data=w
最后实例化这个类，对权重进行限制：
# Applying the constraints to only the last layer
constraints=weightConstraint()
model=Model()
#模型训练的时候再写下面这段代码：
model._modules['l3'].apply(constraints)
方法二：
在模型train的时候，对参数的范围进行限制：
loss = criterion(out, var_y)
optimizer.zero_grad()
loss.backward()
optimizer.step()
for p in net.parameters():
p.data.clamp_(0, 99)
将权重和偏执的范围限制到0-99之间。
仅限制权重的范围，不限制偏执的范围：
for p in net.parameters():
p.register_hook(lambda grad: torch.clamp(grad, 0,10))
魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。
更多推荐
14
0- 0
已为社区贡献11条内容
所有评论(0)