Deep Learning (22)
Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.
第10章は、ついにRNN (Reccurent Neural Network) です。これが最後の難所です。
まずは、back-propagationの計算です。通常のものと変わりませんが、RNNでは、BPTT (back-propagation through time) というものを使います。
具体的な式は、(10.17)～(10.28)です。式(10.18)は、softmaxのcross entropyの微分です。これは既に習得しました。以下をご覧ください。
http://kanouy.blog9.fc2.com/blog-entry-2027.html
汎用的な設定では、教師データは総和してイチとなればよいのですが、式(10.18)は、ひとつの出力だけがイチ、ほかはゼロという特殊な場合を想定しています。
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.
第10章は、ついにRNN (Reccurent Neural Network) です。これが最後の難所です。
まずは、back-propagationの計算です。通常のものと変わりませんが、RNNでは、BPTT (back-propagation through time) というものを使います。
具体的な式は、(10.17)～(10.28)です。式(10.18)は、softmaxのcross entropyの微分です。これは既に習得しました。以下をご覧ください。
http://kanouy.blog9.fc2.com/blog-entry-2027.html
汎用的な設定では、教師データは総和してイチとなればよいのですが、式(10.18)は、ひとつの出力だけがイチ、ほかはゼロという特殊な場合を想定しています。
スポンサーサイト
Deep Learning (21)
Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.
第9章は、CNN (Convolutional Neural Network) です。もともとこれがdeep learningを流行らせた。2012年のことです。
ただ、この章にはCNNの学習方法がきちんと書かれていませんね。畳み込みフィルタの重みは共通なので、これの学習には工夫が必要なはずですが、これに関する記載がされていません。なぜ？
ちなみに、岡谷先生の「深層学習」には書かれてあります。6.7 勾配の計算、です。
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.
第9章は、CNN (Convolutional Neural Network) です。もともとこれがdeep learningを流行らせた。2012年のことです。
ただ、この章にはCNNの学習方法がきちんと書かれていませんね。畳み込みフィルタの重みは共通なので、これの学習には工夫が必要なはずですが、これに関する記載がされていません。なぜ？
ちなみに、岡谷先生の「深層学習」には書かれてあります。6.7 勾配の計算、です。
Wordページ削除の謎
Wordで文書を作っていたところ、最後に罫線のようなものが入ってしまいました。半角の破線を入力していて、ついreturnキーを押してしまい、これが作成されました。
このシロモノ、なかなか削除ができません。「ページ削除機能」を使って、最後のページを削除してやると、なんとその罫線のようなものは、削除されたあとのページの最後に来る。亡霊みたいです。
あれこれやってもどうしても削除できないので、ページ単位でメモ帳にコピー、それを別のWord文書に貼り付け、なんとか切り抜けました。メモ帳にはおかしな記号はコピーできないので、フィルタとして使ったわけです。
Wordは2007です。バックアップ機を使っているから古いのですが、それのせいでしょうか。
このシロモノ、なかなか削除ができません。「ページ削除機能」を使って、最後のページを削除してやると、なんとその罫線のようなものは、削除されたあとのページの最後に来る。亡霊みたいです。
あれこれやってもどうしても削除できないので、ページ単位でメモ帳にコピー、それを別のWord文書に貼り付け、なんとか切り抜けました。メモ帳にはおかしな記号はコピーできないので、フィルタとして使ったわけです。
Wordは2007です。バックアップ機を使っているから古いのですが、それのせいでしょうか。
HIGH OUTPUT MANAGEMENT (2)
アンディ・グローブによる名著、「HIGH OUTPUT MANAGEMENT（2017）」が復刻されたので（なぜかカタカナのタイトルとなった）、それの旧版（絶版？）、「インテル経営の秘密―世界最強企業を創ったマネジメント哲学（1996）」を再度手に取りました。
難しい本です。最初の「朝食工場」から難しい。
ビジネス書というのは、ほとんどが一度読めばおしまいで、ブックオフなどに流れるのでしょうが、本書は難しいので、手放してはいけません。何度でも読めます。科学の手法を経営に持ち込んだものです。
難しい本です。最初の「朝食工場」から難しい。
ビジネス書というのは、ほとんどが一度読めばおしまいで、ブックオフなどに流れるのでしょうが、本書は難しいので、手放してはいけません。何度でも読めます。科学の手法を経営に持ち込んだものです。
The Lord of the Rings
この週末、以前から録画で残っていた、"The Lord of the Rings"三部作を観ました。面白いものは何度でも観る。
ゴラムのCGで話題になった映画です。この三部作は2001～2003年に作られたので、いまから15年以上経っているわけですが、いま観ても、そのクオリティにまったく遜色はありません。
次は、やはり録画で残っている、"The Hobbit"三部作を観ます。こちらは、2012～2014年なので、10年新しいです。CGのクオリティに目立った変化はありますでしょうか？
ゴラムのCGで話題になった映画です。この三部作は2001～2003年に作られたので、いまから15年以上経っているわけですが、いま観ても、そのクオリティにまったく遜色はありません。
次は、やはり録画で残っている、"The Hobbit"三部作を観ます。こちらは、2012～2014年なので、10年新しいです。CGのクオリティに目立った変化はありますでしょうか？
イニエスタ
先日の定例サッカー（2018年7月22日）終了後、これも恒例の、サッカー仲間のお店でビールを飲んでました。
18時から、Jリーグの神戸－湘南が始まりました。これが、イニエスタの日本でのデビュー戦です。試合会場は満員。当たり前か。
すでに湘南が2点リードの後半、イニエスタが登場しました。ボールをキープすると、雰囲気が変わります。何度か惜しい連携がありました。これがバルサだったら決まるんだろうな...などと思いつつ、今後が楽しみになりました。
すでにピークは過ぎていますが、最後のキャリアを充実して送ってほしいです。
18時から、Jリーグの神戸－湘南が始まりました。これが、イニエスタの日本でのデビュー戦です。試合会場は満員。当たり前か。
すでに湘南が2点リードの後半、イニエスタが登場しました。ボールをキープすると、雰囲気が変わります。何度か惜しい連携がありました。これがバルサだったら決まるんだろうな...などと思いつつ、今後が楽しみになりました。
すでにピークは過ぎていますが、最後のキャリアを充実して送ってほしいです。
パソコン修理 (11)
某T社製パソコン、画面の不具合が限界まできました。
まず、最初の立ち上げで画面が表示されるのは、非常に幸運です。画面の角度をあれこれ変えたり、本体との結合部を押したり引いたりして、5分くらいでやっと表示されます。
で、この週末、ついに4度目の修理に出しました。まだ4年経っていないんですけど...
それと同時に、知り合いが中古パソコンの販売をやっているので、購入することにしました。これも某T社で、同じような感じのモデル（スペックはこちらのほうがよい）。さて、どうなりますでしょうか？
まず、最初の立ち上げで画面が表示されるのは、非常に幸運です。画面の角度をあれこれ変えたり、本体との結合部を押したり引いたりして、5分くらいでやっと表示されます。
で、この週末、ついに4度目の修理に出しました。まだ4年経っていないんですけど...
それと同時に、知り合いが中古パソコンの販売をやっているので、購入することにしました。これも某T社で、同じような感じのモデル（スペックはこちらのほうがよい）。さて、どうなりますでしょうか？
ニュートン法 (4)
ニュートン法で、5次方程式の解を求められるかどうか、実験してみました。
ご存知の通り、解の公式は4次方程式までしか存在しないので（ガロア理論）、数値的に解くしかありません。あらかじめ因数分解した方程式を展開し、ニュートン法でやってみました。すると、必ずしも初期値に近い解に収束するのではないことに気がつきました。これはややこしい。
そこで最適化の専門書を見てみたところ、ひとつ解を求めたら、それを因数として、次数を減らしていくとありました。そして、これを繰り返す。
ニュートン法、単純ながら、なかなか奥が深い解法です。
ご存知の通り、解の公式は4次方程式までしか存在しないので（ガロア理論）、数値的に解くしかありません。あらかじめ因数分解した方程式を展開し、ニュートン法でやってみました。すると、必ずしも初期値に近い解に収束するのではないことに気がつきました。これはややこしい。
そこで最適化の専門書を見てみたところ、ひとつ解を求めたら、それを因数として、次数を減らしていくとありました。そして、これを繰り返す。
ニュートン法、単純ながら、なかなか奥が深い解法です。
ニュートン法 (3)
ニュートン法は、以下のように繰り返して、f(x) = 0の解を求めるものですが、
x1 = x0 - f(x0) / f'(x0) --- (1)
f'(x) = 0の解、つまり極値を求めるにはどうすればよいでしょう。式(2)の右辺第2項の微分を増やせばよいのですが、少しまともに導きます。まず、f(x)を2次までテイラー展開します。
f(x) ≒ f(x0) + f'(x0)(x - x0) + (1/2)f''(x0)(x - x0)2 --- (2)
式(2)をイコールとおいてしまい、xで微分します。
f'(x) = f'(x0) + f''(x0)(x - x0) --- (3)
式(3)を変形すると、
x = x0 - f'(x0) / f''(x0) --- (4)
となり、繰り返しの式が得られました。
x1 = x0 - f(x0) / f'(x0) --- (1)
f'(x) = 0の解、つまり極値を求めるにはどうすればよいでしょう。式(2)の右辺第2項の微分を増やせばよいのですが、少しまともに導きます。まず、f(x)を2次までテイラー展開します。
f(x) ≒ f(x0) + f'(x0)(x - x0) + (1/2)f''(x0)(x - x0)2 --- (2)
式(2)をイコールとおいてしまい、xで微分します。
f'(x) = f'(x0) + f''(x0)(x - x0) --- (3)
式(3)を変形すると、
x = x0 - f'(x0) / f''(x0) --- (4)
となり、繰り返しの式が得られました。
LINE
連れのLINEアカウントが、諸事情で凍結されてしまい、仕方なく、いったん削除して、また作成。
その過程で、私が電話番号検索で、招待することになりました。結局それは必要なかったのですが、そこでLINEと電話番号が、無意識に結びついてしまった。
そうしたところに、FBの知人から、メッセンジャーで、「LINEアカウントが凍結されたので電話番号を教えてほしい」、との連絡が来ました。友達からの認証が必要とのこと。上記のことがあるので、あまり疑問を持たず、番号を入力しようとしました。知り合いですから。
ここで再度、送られてきたメッセージを確認。む、彼は、このような言葉使いをするのか？さらに、この知人とは、いまはFBとのつながりだけで、日ごろやりとりしているわけではありません。周囲に認証してくれる知人はいくらでもいるはず。おかしいな。
結局、FBアカウントが乗っ取られたと判明いたしました。電話番号は送っていません。
その過程で、私が電話番号検索で、招待することになりました。結局それは必要なかったのですが、そこでLINEと電話番号が、無意識に結びついてしまった。
そうしたところに、FBの知人から、メッセンジャーで、「LINEアカウントが凍結されたので電話番号を教えてほしい」、との連絡が来ました。友達からの認証が必要とのこと。上記のことがあるので、あまり疑問を持たず、番号を入力しようとしました。知り合いですから。
ここで再度、送られてきたメッセージを確認。む、彼は、このような言葉使いをするのか？さらに、この知人とは、いまはFBとのつながりだけで、日ごろやりとりしているわけではありません。周囲に認証してくれる知人はいくらでもいるはず。おかしいな。
結局、FBアカウントが乗っ取られたと判明いたしました。電話番号は送っていません。
FIFAワールドカップ2018 (12)
FIFAワールドカップ2018決勝、フランス対クロアチアは、4-2でフランスが勝ちました。
クロアチアを応援してはいましたが、この結果は妥当でしょう。フランスは強かった。
試合は深夜0時からナマで観ましたが、睡魔が襲い、断続的に意識がありませんでした。なので、終了後、再度録画で。
クロアチアを応援してはいましたが、この結果は妥当でしょう。フランスは強かった。
試合は深夜0時からナマで観ましたが、睡魔が襲い、断続的に意識がありませんでした。なので、終了後、再度録画で。
Batch Normalization
Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.
8.7.1 Batch Normalizationの記述が、いまいちよく解らなかったので、原著論文にあたってみました。
Sergey Ioffe, Christian Szegedy, Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, 2015.
ネットで取れます。要するに、層ごとに正規化してやるということですね。たぶん...
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.
8.7.1 Batch Normalizationの記述が、いまいちよく解らなかったので、原著論文にあたってみました。
Sergey Ioffe, Christian Szegedy, Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, 2015.
ネットで取れます。要するに、層ごとに正規化してやるということですね。たぶん...
FIFAワールドカップ2018 (11)
FIFAワールドカップ2018準決勝の第2試合、クロアチア対イングランドは、2-1でクロアチアが勝ちました。
1-1のまま延長戦に突入。延長後半にクロアチアが決勝点を入れ、そのまま試合終了。
実はこの試合、午前3時に起きる気力がなく、今朝録画を早送りで観ました。
決勝は、フランス－クロアチアとなりました。順当にいけばフランスなのでしょうが、ここはクロアチアを応援します。これまでのワールドカップでは、クロアチアのような小国が優勝したことはありません。ユーロと違うところです。
1-1のまま延長戦に突入。延長後半にクロアチアが決勝点を入れ、そのまま試合終了。
実はこの試合、午前3時に起きる気力がなく、今朝録画を早送りで観ました。
決勝は、フランス－クロアチアとなりました。順当にいけばフランスなのでしょうが、ここはクロアチアを応援します。これまでのワールドカップでは、クロアチアのような小国が優勝したことはありません。ユーロと違うところです。
FIFAワールドカップ2018 (10)
FIFAワールドカップ2018準決勝の第1試合、フランス対ベルギーは、1-0でフランスが勝ちました。
試合内容は、まったくの互角。フランスが1点取ってからは、文字通り目が離せない試合となりました。
アザールに最後のところで仕事をさせない、反則を取られてもおかしくない、フランスの守備が固かった。アザールは孤軍奮闘、ルカクとデブライネは不発。
ベルギーは優勝できるメンバを揃えましたが、またもベスト4で撃沈。ワールドカップの初優勝は敷居が高い。1998年のフランスしかり、2010年のスペインしかり。
最後はファウルが目立ちました。理解はできますが、ベルギー－日本戦のフェアな試合を観たあとでは、少し後味が悪かった。
試合内容は、まったくの互角。フランスが1点取ってからは、文字通り目が離せない試合となりました。
アザールに最後のところで仕事をさせない、反則を取られてもおかしくない、フランスの守備が固かった。アザールは孤軍奮闘、ルカクとデブライネは不発。
ベルギーは優勝できるメンバを揃えましたが、またもベスト4で撃沈。ワールドカップの初優勝は敷居が高い。1998年のフランスしかり、2010年のスペインしかり。
最後はファウルが目立ちました。理解はできますが、ベルギー－日本戦のフェアな試合を観たあとでは、少し後味が悪かった。
Deep Learning (20)
Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.
8.3.2 Momentumという節に、物理シミュレーションのような記述があります。
要するに、最適化計算の過程（＝gradient descent）で、速度（velocity）というものを考えてやると、学習が速く進むという理屈です。これはどういうことかと言うと、エラー関数を力学でいうところのポテンシャルと見なすと、それの座標での微分というのは力です。そして、力は加速度に比例します。
このような観点から機械学習における学習を眺めると、学習率（learning rate）が一定というのは、加速度一定ということです。しかるに、物理においては、速度はどんどん速くなるわけです。この速度をうまく使って、学習率を更新してやることにより、学習が速く進むということです。お試しあれ。
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.
8.3.2 Momentumという節に、物理シミュレーションのような記述があります。
要するに、最適化計算の過程（＝gradient descent）で、速度（velocity）というものを考えてやると、学習が速く進むという理屈です。これはどういうことかと言うと、エラー関数を力学でいうところのポテンシャルと見なすと、それの座標での微分というのは力です。そして、力は加速度に比例します。
このような観点から機械学習における学習を眺めると、学習率（learning rate）が一定というのは、加速度一定ということです。しかるに、物理においては、速度はどんどん速くなるわけです。この速度をうまく使って、学習率を更新してやることにより、学習が速く進むということです。お試しあれ。
FIFAワールドカップ2018 (9)
FIFAワールドカップ2018準々決勝の結果は以下のとおりでした。
ウルグアイ×0-2○フランス
ブラジル×1-2○ベルギー
ロシア×2-2○クロアチア
スウェーデン×0-2○イングランド
私の予想は、またまた3勝1敗でした。さて、準決勝の予想です。
フランス○2-2×ベルギー
ともに南米勢を破った優勝候補同士。事実上の決勝戦。どちらが勝ってもおかしくない。
クロアチア×1-2○イングランド
1966年自国開催での優勝以来のチャンス到来で、クロアチアを応援したいものの、イングランドに軍配。
ウルグアイ×0-2○フランス
ブラジル×1-2○ベルギー
ロシア×2-2○クロアチア
スウェーデン×0-2○イングランド
私の予想は、またまた3勝1敗でした。さて、準決勝の予想です。
フランス○2-2×ベルギー
ともに南米勢を破った優勝候補同士。事実上の決勝戦。どちらが勝ってもおかしくない。
クロアチア×1-2○イングランド
1966年自国開催での優勝以来のチャンス到来で、クロアチアを応援したいものの、イングランドに軍配。
Deep Learning (19)
Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.
7.12 Dropout ですが、ここでも、振舞いの解析をしています。楽しい。
dropoutの解析は非常に困難なので、いろいろと言い訳（＝近似）したあとで、簡単なsoftmaxの事例について、正確な解析しています。結果として、dropoutの確率が0.5のときは、重みを0.5にしてやればよいということがわかります。
よくやるな～という感じです。数学の勉強になります。
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.
7.12 Dropout ですが、ここでも、振舞いの解析をしています。楽しい。
dropoutの解析は非常に困難なので、いろいろと言い訳（＝近似）したあとで、簡単なsoftmaxの事例について、正確な解析しています。結果として、dropoutの確率が0.5のときは、重みを0.5にしてやればよいということがわかります。
よくやるな～という感じです。数学の勉強になります。
湘南工科大学非常勤講師 (11)
湘南工科大学の非常勤講師、11回が終わり、残すところ5回となりました。
最後の課題は、微積のほうはニュートン法、線形代数のほうは最小二乗法をやります。
ニュートン法は、微積における数値計算の真打でしょう。私もいろいろと仕事で苦しみました。価値のある技術。
最小二乗法が線形代数？、と思うかたもいらっしゃるでしょう。確かに、通常は二乗誤差をとり、パラメタで偏微分して、正規方程式を導きます。ただ、いまの定式化のはやりは、ベクトルと行列で一気に解くやりかた。機械学習系の書物ではおなじみですが、線形代数の枠組みで教えられることは、ほとんどありません。これをやります。これから重要となる技術です。
私の数学は、実学がベースです。
最後の課題は、微積のほうはニュートン法、線形代数のほうは最小二乗法をやります。
ニュートン法は、微積における数値計算の真打でしょう。私もいろいろと仕事で苦しみました。価値のある技術。
最小二乗法が線形代数？、と思うかたもいらっしゃるでしょう。確かに、通常は二乗誤差をとり、パラメタで偏微分して、正規方程式を導きます。ただ、いまの定式化のはやりは、ベクトルと行列で一気に解くやりかた。機械学習系の書物ではおなじみですが、線形代数の枠組みで教えられることは、ほとんどありません。これをやります。これから重要となる技術です。
私の数学は、実学がベースです。
FIFAワールドカップ2018 (8)
ワールドカップの話が続きます。仕事はしているつもりですが、寝不足気味...
ベスト8が出揃いました。また予想です。当たらないけれど（ちなみに、決勝Tの後半戦4試合の予想は、3勝1敗）。
ウルグアイ×2－3○フランス
ブラジル○3-2×ベルギー
ロシア×1-1○クロアチア
スウェーデン×0-2○イングランド
個人的には準々決勝が面白い。全て好カードですから。
ベスト8が出揃いました。また予想です。当たらないけれど（ちなみに、決勝Tの後半戦4試合の予想は、3勝1敗）。
ウルグアイ×2－3○フランス
ブラジル○3-2×ベルギー
ロシア×1-1○クロアチア
スウェーデン×0-2○イングランド
個人的には準々決勝が面白い。全て好カードですから。
FIFAワールドカップ2018 (7)
この深夜（2018年7月3日）行われた、FIFAワールドカップ2018決勝トーナメント、日本対ベルギーは、2-3でベルギーが勝ちました。
原口、乾の素晴らしいシュートで、まさかの2点先行。この展開を、世界の誰が予想したでしょう。ベルギーの反撃を食うも、その後も互角に渡り合う展開。どこかで日本に3点目が入ってもおかしくなかった。
最後の本田のフリーキックは枠を捉えており、やはり彼は一流のキッカー。直後にカウンターに合い、決勝点を決められましたが、激戦の最後にふさわしいものだったと思います。
初のベスト8には届きませんでしたが、十分に楽しませてもらいました。
原口、乾の素晴らしいシュートで、まさかの2点先行。この展開を、世界の誰が予想したでしょう。ベルギーの反撃を食うも、その後も互角に渡り合う展開。どこかで日本に3点目が入ってもおかしくなかった。
最後の本田のフリーキックは枠を捉えており、やはり彼は一流のキッカー。直後にカウンターに合い、決勝点を決められましたが、激戦の最後にふさわしいものだったと思います。
初のベスト8には届きませんでしたが、十分に楽しませてもらいました。
FIFAワールドカップ2018 (6)
決勝トーナメントの組み合わせが決まりました！すでに、4試合の結果が出ています。
フランス○4－3×アルゼンチン
ウルグアイ○2－1×ポルトガル
スペイン×1－1○ロシア
クロアチア○1－1×デンマーク
フランス－アルゼンチン戦は死闘でした。クロアチア－デンマークは、中盤はミスの多い凡戦でしたが、PKは盛り上がりました。双方のキーパが秀逸。
以下は、私の予想です。日本戦は、予想ではなく、期待＋応援...
ブラジル○2－1×メキシコ
ベルギー×1－1○日本
スウェーデン○2－1×スイス
コロンビア×1－2○イングランド
フランス○4－3×アルゼンチン
ウルグアイ○2－1×ポルトガル
スペイン×1－1○ロシア
クロアチア○1－1×デンマーク
フランス－アルゼンチン戦は死闘でした。クロアチア－デンマークは、中盤はミスの多い凡戦でしたが、PKは盛り上がりました。双方のキーパが秀逸。
以下は、私の予想です。日本戦は、予想ではなく、期待＋応援...
ブラジル○2－1×メキシコ
ベルギー×1－1○日本
スウェーデン○2－1×スイス
コロンビア×1－2○イングランド
