常用激活函数之ReLU

2周前 63次点击 来自 TensorFlow

查考链接:https://zhuanlan.zhihu.com/p/63775557

公式:
ReLU函数

线性整流函数(Rectified Linear Unit, ReLU),又称修正线性单元,是一种人工神经网络中常用的激活函数(activation function),通常指代以斜坡函数及其变种为代表的非线性函数。

绘制函数图像代码:

import matplotlib.pyplot as plt
import numpy as np

# 函数
g = lambda z: np.maximum(0, z)

start = -10  # 输入需要绘制的起始值(从左到右)
stop = 10  # 输入需要绘制的终点值
step = 0.01  # 输入步长
num = int((stop - start) / step)  # 计算点的个数
x = np.linspace(start, stop, num)
y = g(x)

fig = plt.figure(1)
plt.plot(x, y, label='relu')
plt.grid(True)  # 显示网格

plt.legend()  # 显示旁注
plt.show()

ReLu函数图像

Card image cap
开发者雷

尘世间一个小小的开发者,每天增加一些无聊的知识,就不会无聊了

要加油~~~

技术文档 >> 系列应用 >>
热推应用
Let'sLearnSwift
学习Swift的入门教程
PyPie
Python is as good as Pie
标签