示例成品 · 平台演示,按左边这组点选真跑出来的
假设前向公式为 y = ReLU(x) = max(0, x),则反向传播公式为:∂L/∂x = ∂L/∂y * (1 if x > 0 else 0)。
推导过程:根据链式法则,∂L/∂x = ∂L/∂y * ∂y/∂x,其中∂y/∂x = 1 if x > 0 else 0。注意:x为标量,若为向量则逐元素计算。假设条件:ReLU函数在x=0处不可导,通常取左导数或右导数,这里采用右导数(x>0时导数为1,x<=0时为0)。
点左边「开工 · 直接出成品」,出一份你自己的版本(文字免费)