这期内容当中小编将会给大家带来有关使用tensorflow怎么自定义激活函数,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。
网站建设、成都网站制作的开发,更需要了解用户,从用户角度来建设网站,获得较好的用户体验。成都创新互联多年互联网经验,见的多,沟通容易、能帮助客户提出的运营建议。作为成都一家网络公司,打造的就是网站建设产品直销的概念。选择成都创新互联,不只是建站,我们把建站作为产品,不断的更新、完善,让每位来访用户感受到浩方产品的价值服务。首先要确定梯度函数,之后将其处理为tf能接受的类型。
def square(x): return pow(x, 2)
2.2 定义该激活函数的一次梯度函数
def square_grad(x): return 2 * x
2.3 让numpy数组每一个元素都能应用该函数(全局)
square_np = np.vectorize(square) square_grad_np = np.vectorize(square_grad)
2.4 转为tf可用的32位float型,numpy默认是64位(全局)
square_np_32 = lambda x: square_np(x).astype(np.float32) square_grad_np_32 = lambda x: square_grad_np(x).astype(np.float32)
2.5 定义tf版的梯度函数
def square_grad_tf(x, name=None): with ops.name_scope(name, "square_grad_tf", [x]) as name: y = tf.py_func(square_grad_np_32, [x], [tf.float32], name=name, stateful=False) return y[0]
2.6 定义函数
def my_py_func(func, inp, Tout, stateful=False, name=None, my_grad_func=None): # need to generate a unique name to avoid duplicates: random_name = "PyFuncGrad" + str(np.random.randint(0, 1E+8)) tf.RegisterGradient(random_name)(my_grad_func) g = tf.get_default_graph() with g.gradient_override_map({"PyFunc": random_name, "PyFuncStateless": random_name}): return tf.py_func(func, inp, Tout, stateful=stateful, name=name)
2.7 定义梯度,该函数依靠上一个函数my_py_func计算并传播
def _square_grad(op, pred_grad): x = op.inputs[0] cur_grad = square_grad(x) next_grad = pred_grad * cur_grad return next_grad
2.8 定义tf版的square函数
def square_tf(x, name=None): with ops.name_scope(name, "square_tf", [x]) as name: y = my_py_func(square_np_32, [x], [tf.float32], stateful=False, name=name, my_grad_func=_square_grad) return y[0]
3.使用
跟用其他激活函数一样,直接用就行了。input_data:输入数据。
h = square_tf(input_data)
上述就是小编为大家分享的使用tensorflow怎么自定义激活函数了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注创新互联成都网站设计公司行业资讯频道。
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。