18 - 损失函数及其梯度

4个月前 191次点击 来自 TensorFlow

收录专题: TensorFlow入门笔记

MSE Gradient

x=tf.random.normal([2,4])
w=tf.random.normal([4,3])
b=tf.zeros([3])
y=tf.constant([2,0])

with tf.GradientTape() as tape:
    tape.watch([w,b])
    prob=tf.nn.softmax(x@w+b,axis=1)
    loss=tf.reduce_mean(tf.losses.MSE(tf.one_hot(y,depth=3),prob))

grads=tape.gradient(loss,[w,b])
print(grads[0])
print(grads[1])

Crossentropy gradient

x=tf.random.normal([2,4])
w=tf.random.normal([4,3])
b=tf.zeros([3])
y=tf.constant([2,0])

with tf.GradientTape() as tape:
    tape.watch([w,b])
    logits=x@w+b
    loss=tf.reduce_mean(tf.losses.categorical_crossentropy(tf.one_hot(y,depth=3),logits,from_logits=True))

grads=tape.gradient(loss,[w,b])
print(grads[0])
print(grads[1])
Card image cap
开发者雷

尘世间一个小小的开发者,每天增加一些无聊的知识,就不会无聊了

要加油~~~

技术文档 >> 系列应用 >>
热推应用
Let'sLearnSwift
学习Swift的入门教程
PyPie
Python is as good as Pie
标签