合成関数の微分

いまさらですが、合成関数の微分についてです。

z₁ = z₁(y₁, y₂) --- (1)
z₂ = z₁(y₁, y₂) --- (2)

として、さらに、

y₁ = y₁(x₁, x₂) --- (3)
y₂ = y₁(x₁, x₂) --- (4)

であるとき、

∂z₁/∂x₁ = (∂z₁/∂y₁)(∂y₁/∂x₁) + (∂z₁/∂y₂)(∂y₂/∂x₁) --- (5)
∂z₁/∂x₂ = (∂z₁/∂y₁)(∂y₁/∂x₂) + (∂z₁/∂y₂)(∂y₂/∂x₂) --- (6)
∂z₂/∂x₁ = (∂z₂/∂y₁)(∂y₁/∂x₁) + (∂z₂/∂y₂)(∂y₂/∂x₁) --- (7)
∂z₂/∂x₂ = (∂z₂/∂y₁)(∂y₁/∂x₂) + (∂z₂/∂y₂)(∂y₂/∂x₂) --- (8)

となります。これは通常の微積本に書かれてあります。

これをニューラルネットで図示すると、入力がx₁とx₂、出力がz₁とz₂、隠れ層がy₁とy₂、と考えられます。各層間は全結合。

このように、合成関数の微分をニューラルネットと対応付けると、可視化されて、理解が進むのではないかと思います。