transformer网络架构输出部分分析
·

import torch
import torch.nn as nn
import torch.nn.functional as F
class generator(nn.Module):
def __init__(self,d_model,vocab):
super().__init__()
self.linear=nn.Linear(d_model,vocab)
def forward(self,input)
return F.log_foftmax(self.linear(input),dim=-1)
gen = Generator(d_model, vocab_size)
gen_result = gen(x)
魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)