Deep Learning (27)
Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.
第20章（最終章）の"Deep Generative Models"、20.4.4、Layer-Wise Pretraining、の解読をいたしました。
これはHintonらが、deep neural networkがうまく初期化できることを示したもので、ここからDNNの快進撃が始まったという歴史的なアルゴリズムです。これが、
Algorithm 20.1 The variational stochastic maximum likelihood algorithm for training a DBM with two hidden layers.
として、詳しく紹介されています。ここは難解で、解読するのに一日を費やしました。構造的には、
Algorithm 18.3 The stochastic maximum likelihood / persistent contrastive divergence algorithm using gradient ascent as the optimization procedure.
と同じですが、これにvariationalとNNの学習が追加されているというものです。
Algorithm 20.1の後には、アルゴリズムの紹介はないので、これがわかれば、本書は卒業ということでしょう。
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.
第20章（最終章）の"Deep Generative Models"、20.4.4、Layer-Wise Pretraining、の解読をいたしました。
これはHintonらが、deep neural networkがうまく初期化できることを示したもので、ここからDNNの快進撃が始まったという歴史的なアルゴリズムです。これが、
Algorithm 20.1 The variational stochastic maximum likelihood algorithm for training a DBM with two hidden layers.
として、詳しく紹介されています。ここは難解で、解読するのに一日を費やしました。構造的には、
Algorithm 18.3 The stochastic maximum likelihood / persistent contrastive divergence algorithm using gradient ascent as the optimization procedure.
と同じですが、これにvariationalとNNの学習が追加されているというものです。
Algorithm 20.1の後には、アルゴリズムの紹介はないので、これがわかれば、本書は卒業ということでしょう。
スポンサーサイト
コメントの投稿
No title
度々，失礼します．
一般社団法人 日本ディープラーニング協会，をご存知でしょうか？
https://www.jdla.org/
ここで，資格試験を実施しています．
https://www.jdla.org/business/certificate/#education
ご受験されてはいかがでしょうか？
いや，すでにご存じで，必要ない，とお考えでしたらご容赦ください．
一般社団法人 日本ディープラーニング協会，をご存知でしょうか？
https://www.jdla.org/
ここで，資格試験を実施しています．
https://www.jdla.org/business/certificate/#education
ご受験されてはいかがでしょうか？
いや，すでにご存じで，必要ない，とお考えでしたらご容赦ください．
No title
コメントありがとうございます。
はい、協会のお名前はよく聞きますので、存じ上げております。知人も関わっております。
受験は考えていませんでしたが、検討してみます。ありがとうございました。
はい、協会のお名前はよく聞きますので、存じ上げております。知人も関わっております。
受験は考えていませんでしたが、検討してみます。ありがとうございました。
