创新互联www.cdcxhl.cn八线动态BGP香港云服务器提供商,新人活动买多久送多久,划算不套路!
创新互联是一家专注于成都网站建设、网站制作与策划设计,瑶海网站建设哪家好?创新互联做网站,专注于网站建设10年,网设计领域的专业建站公司;建站业务涵盖:瑶海等地区。瑶海做网站价格咨询:18982081108这篇文章将为大家详细讲解有关Pytorch自定义层出现多Variable共享内存错误怎么办,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
错误信息:
RuntimeError: in-place operations can be only used on variables that don't share storage with any other variables, but detected that there are 4 objects sharing it
自动求导是很方便, 但是想想, 如果两个Variable共享内存, 再对这个共享的内存的数据进行修改, 就会引起错误!
一般是由于 inplace操作或是indexing或是转置. 这些都是共享内存的.
@staticmethod def backward(ctx, grad_output): ind_lst = ctx.ind_lst flag = ctx.flag c = grad_output.size(1) grad_former_all = grad_output[:, 0:c//3, :, :] grad_latter_all = grad_output[:, c//3: c*2//3, :, :] grad_swapped_all = grad_output[:, c*2//3:c, :, :] spatial_size = ctx.h * ctx.w W_mat_all = Variable(ctx.Tensor(ctx.bz, spatial_size, spatial_size).zero_()) for idx in range(ctx.bz): W_mat = W_mat_all.select(0,idx) for cnt in range(spatial_size): indS = ind_lst[idx][cnt] if flag[cnt] == 1: # 这里W_mat是W_mat_all通过select出来的, 他们共享内存. W_mat[cnt, indS] = 1 W_mat_t = W_mat.t() grad_swapped_weighted = torch.mm(W_mat_t, grad_swapped_all[idx].view(c//3, -1).t()) grad_swapped_weighted = grad_swapped_weighted.t().contiguous().view(1, c//3, ctx.h, ctx.w) grad_latter_all[idx] = torch.add(grad_latter_all[idx], grad_swapped_weighted.mul(ctx.triple_w))