Deep Learning (27)
Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.
第20章(最終章)の"Deep Generative Models"、20.4.4、Layer-Wise Pretraining、の解読をいたしました。
これはHintonらが、deep neural networkがうまく初期化できることを示したもので、ここからDNNの快進撃が始まったという歴史的なアルゴリズムです。これが、
Algorithm 20.1 The variational stochastic maximum likelihood algorithm for training a DBM with two hidden layers.
として、詳しく紹介されています。ここは難解で、解読するのに一日を費やしました。構造的には、
Algorithm 18.3 The stochastic maximum likelihood / persistent contrastive divergence algorithm using gradient ascent as the optimization procedure.
と同じですが、これにvariationalとNNの学習が追加されているというものです。
Algorithm 20.1の後には、アルゴリズムの紹介はないので、これがわかれば、本書は卒業ということでしょう。
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.
第20章(最終章)の"Deep Generative Models"、20.4.4、Layer-Wise Pretraining、の解読をいたしました。
これはHintonらが、deep neural networkがうまく初期化できることを示したもので、ここからDNNの快進撃が始まったという歴史的なアルゴリズムです。これが、
Algorithm 20.1 The variational stochastic maximum likelihood algorithm for training a DBM with two hidden layers.
として、詳しく紹介されています。ここは難解で、解読するのに一日を費やしました。構造的には、
Algorithm 18.3 The stochastic maximum likelihood / persistent contrastive divergence algorithm using gradient ascent as the optimization procedure.
と同じですが、これにvariationalとNNの学習が追加されているというものです。
Algorithm 20.1の後には、アルゴリズムの紹介はないので、これがわかれば、本書は卒業ということでしょう。
スポンサーサイト
コメントの投稿
No title
度々,失礼します.
一般社団法人 日本ディープラーニング協会,をご存知でしょうか?
https://www.jdla.org/
ここで,資格試験を実施しています.
https://www.jdla.org/business/certificate/#education
ご受験されてはいかがでしょうか?
いや,すでにご存じで,必要ない,とお考えでしたらご容赦ください.
一般社団法人 日本ディープラーニング協会,をご存知でしょうか?
https://www.jdla.org/
ここで,資格試験を実施しています.
https://www.jdla.org/business/certificate/#education
ご受験されてはいかがでしょうか?
いや,すでにご存じで,必要ない,とお考えでしたらご容赦ください.
No title
コメントありがとうございます。
はい、協会のお名前はよく聞きますので、存じ上げております。知人も関わっております。
受験は考えていませんでしたが、検討してみます。ありがとうございました。
はい、協会のお名前はよく聞きますので、存じ上げております。知人も関わっております。
受験は考えていませんでしたが、検討してみます。ありがとうございました。