FC2ブログ

Deep Learning (27)

Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.

第20章(最終章)の"Deep Generative Models"、20.4.4、Layer-Wise Pretraining、の解読をいたしました。

これはHintonらが、deep neural networkがうまく初期化できることを示したもので、ここからDNNの快進撃が始まったという歴史的なアルゴリズムです。これが、

Algorithm 20.1 The variational stochastic maximum likelihood algorithm for training a DBM with two hidden layers.

として、詳しく紹介されています。ここは難解で、解読するのに一日を費やしました。構造的には、

Algorithm 18.3 The stochastic maximum likelihood / persistent contrastive divergence algorithm using gradient ascent as the optimization procedure.

と同じですが、これにvariationalとNNの学習が追加されているというものです。

Algorithm 20.1の後には、アルゴリズムの紹介はないので、これがわかれば、本書は卒業ということでしょう。
スポンサーサイト

コメントの投稿

非公開コメント

No title

度々,失礼します.
一般社団法人 日本ディープラーニング協会,をご存知でしょうか?
https://www.jdla.org/

ここで,資格試験を実施しています.
https://www.jdla.org/business/certificate/#education

ご受験されてはいかがでしょうか?
いや,すでにご存じで,必要ない,とお考えでしたらご容赦ください.

No title

コメントありがとうございます。
はい、協会のお名前はよく聞きますので、存じ上げております。知人も関わっております。
受験は考えていませんでしたが、検討してみます。ありがとうございました。
プロフィール

加納裕(かのうゆたか)

Author:加納裕(かのうゆたか)


[略歴]
1983年3月東京工業大学工学部機械物理工学科卒業
1983年4月(株)図研入社
1987年1月同社退社
1987年2月(株)ソリッドレイ研究所を6名で設立、取締役
1994年3月同社退社
1994年4月(株)スリーディー入社
1996年10月同社取締役
1999年12月上海大学兼務教授
2002年10月同社代表取締役
2009年9月ものつくり大学非常勤講師~現在
2009年10月同社代表退任/退社
2010年1月ソフトキューブ(株)入社~現在(技術顧問)
2017年4月湘南工科大学非常勤講師~現在


[業界団体・学会活動]
電気学会・第三期次世代インタラクティブディスプレイ協同研究委員会(幹事)/最先端表現技術利用推進協会・アカデミック部会(旧:三次元映像のフォーラム)(副部会長)/日本バーチャルリアリティ学会ハプティクス研究委員会(委員)/ACM・SIGGRAPH(Professional Member)/情報処理学会(正会員、CVIM会員)/3Dコンソーシアム(賛助会員)/3DBiz研究会(個人賛助会員)/URCF(特別会員)

----------------

前職:立体映像産業推進協議会(幹事)/日本バーチャルリアリティ学会・論文委員会(委員)


[資格]
TOEIC805点
数学検定1級(数理技能)
中型・普自二免許
サッカー4級審判員

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QRコード