Backpropagation (2)

最近遅ればせながら、VAEやGANなどの生成モデル論文を読んでいます。

ここで思うのは、やはりbackpropagationが出てきたか、ということ。

GoodfellowらのDL本では、生成モデルの計算については、MCMCを登場させています。結局のところ、MCMCを使わなければ、潜在変数の確率密度が求められないのです。

しかるに、VAEやGANでは、これを避ける。VAEでは、潜在変数の確率密度を正規分布と仮定、平均と分散をニューラルネットに組み込みます。これはすごいアイデア。GANに至っては、教師データとモデルの分布の分類器をニューラルネットで作るという、超裏技を繰り出した。

なにやら戦国時代の様相を呈していますが、今後どのような方向に向かうのか、私にはわかりません。ただ、30年前に開発されたbackpropagationという、明確に定義された計算手法が、いまだにきちんと受け入れられているということ。やはり、きちんと定義され、きちんと計算できる、という数学的構造には普遍性があるということでしょうか。