常用激活函数之tanh

2周前 49次点击 来自 TensorFlow

查考链接:https://zhuanlan.zhihu.com/p/63775557

公式:
双曲正切tanh
tanh是双曲函数中的一个,tanh为双曲正切。在数学中,双曲正切“tanh”是由双曲正弦和双曲余弦这两种基本双曲函数推导而来。

y=tanh x是一个奇函数,其函数图像为过原点并且穿越Ⅰ、Ⅲ象限的严格单调递增曲线,其图像被限制在两水平渐近线y=1和y=-1之间。

绘制函数图像代码:

import matplotlib.pyplot as plt
import numpy as np

# 函数
g = lambda z: (np.exp(z) - np.exp(-z)) / (np.exp(z) + np.exp(-z))

start = -10  # 输入需要绘制的起始值(从左到右)
stop = 10  # 输入需要绘制的终点值
step = 0.01  # 输入步长
num = int((stop - start) / step)  # 计算点的个数
x = np.linspace(start, stop, num)
y = g(x)

fig = plt.figure(1)
plt.plot(x, y, label='tanh')
plt.grid(True)  # 显示网格

plt.legend()  # 显示旁注
plt.show()

tanh函数图像

由图像可知,tanh函数是sigmoid函数向下平移和收缩后的结果。

sigmoid和tanh激活函数有共同的缺点:即在z很大或很小时,梯度几乎为零,因此使用梯度下降优化算法更新网络很慢。

Card image cap
开发者雷

尘世间一个小小的开发者,每天增加一些无聊的知识,就不会无聊了

要加油~~~

技术文档 >> 系列应用 >>
热推应用
Let'sLearnSwift
学习Swift的入门教程
PyPie
Python is as good as Pie
标签