トピックモデルによる統計的潜在意味解析 (16)
佐藤一誠先生の、「トピックモデルによる統計的潜在意味解析（2015）」輪読会、先日（2019年3月18日）の第九回は、私が再度プレゼンしました。そのあとお二方による実装発表会。これで第3章は終了です。本書の冒頭、「おそらく、この3章が本書の最初の「山場」である。多くの読者が本書で挫折するとすれば、この章である」、とありますが、なんとか（？）切り抜けました。
さて、今後ですが、GW前にすべて終了させるという野心的な試み。あと5回で第4章、第5章をカバーします。私が再々度担当するかは未定であります（あと一枠）。
場所は、コワーキングスペース秋葉原 Weeyble（ウィーブル)。
（http://weeyble.com/）
東京都千代田区神田須田町２丁目１９−２３(野村第３ビル４階)。
以下が、次回の輪読会URLです。
https://weeyble-data.connpass.com/event/124760/
さて、今後ですが、GW前にすべて終了させるという野心的な試み。あと5回で第4章、第5章をカバーします。私が再々度担当するかは未定であります（あと一枠）。
場所は、コワーキングスペース秋葉原 Weeyble（ウィーブル)。
（http://weeyble.com/）
東京都千代田区神田須田町２丁目１９−２３(野村第３ビル４階)。
以下が、次回の輪読会URLです。
https://weeyble-data.connpass.com/event/124760/
スポンサーサイト
大倉典子先生最終講義
芝浦工業大学・大倉典子先生の最終講義が、2019年3月16日に行われました。豊洲キャンパスにて。
研究者でもない私が、日本VR学会の論文委員を務めることになったのは、当時委員長だった大倉先生から誘われたからです。当時私のこのBLOGを読まれたらしく、それで誘ってもらったわけです。おかげさまで、その6年間で貴重な経験ができました。
大倉先生ですが、波乱万丈の人生だったと言ってよいでしょう。講義中におっしゃった、「私はどさくさ紛れに強い」は明言です。周囲の方からのそのときそのときの助言を受け止め、その都度人生の舵を切ってここまで到達した、ということと理解いたしました。
今後は別の環境で研究を続けられるということでした。引き続きのご活躍を期待いたします。
研究者でもない私が、日本VR学会の論文委員を務めることになったのは、当時委員長だった大倉先生から誘われたからです。当時私のこのBLOGを読まれたらしく、それで誘ってもらったわけです。おかげさまで、その6年間で貴重な経験ができました。
大倉先生ですが、波乱万丈の人生だったと言ってよいでしょう。講義中におっしゃった、「私はどさくさ紛れに強い」は明言です。周囲の方からのそのときそのときの助言を受け止め、その都度人生の舵を切ってここまで到達した、ということと理解いたしました。
今後は別の環境で研究を続けられるということでした。引き続きのご活躍を期待いたします。
CAVE研究会
第86回CAVE研究会が、中央大学・後楽園キャンパスで開催されました。
CAVE研究会は、これまでなじみのない研究会でしたが、CAVEは過去4回（記憶では）構築したことと、案内をもらったので、ノコノコと行ってまいりました。中央大学は、これまで全く縁のない大学です。初めてキャンパスに足を踏み入れました。
知り合いと言えるのは、東京都市大・宮地先生だけかと思っていたら、結構知人が参加していました。なるほど、こういうコミュニティか。
懇親会は、かなり盛り上がりました。ビール・ワイン・日本酒をいただきました。
CAVE研究会は、これまでなじみのない研究会でしたが、CAVEは過去4回（記憶では）構築したことと、案内をもらったので、ノコノコと行ってまいりました。中央大学は、これまで全く縁のない大学です。初めてキャンパスに足を踏み入れました。
知り合いと言えるのは、東京都市大・宮地先生だけかと思っていたら、結構知人が参加していました。なるほど、こういうコミュニティか。
懇親会は、かなり盛り上がりました。ビール・ワイン・日本酒をいただきました。
最尤推定 (3)
しつこく、最尤推定の話です。
統計・機械学習本だと、尤度を表したのち、計算を簡単にするため、などと称して、対数を取ります。それで、パラメタを求めるために、偏微分などをやる。
ただ、尤度を最大＝cross-entropy最小、の原理を使うのであれば、cross-entropyとしては、対数は必須なので、対数化は必然ということになります。ここについて明記された書物は、いまのところ発見できません。謎のところです。
統計・機械学習本だと、尤度を表したのち、計算を簡単にするため、などと称して、対数を取ります。それで、パラメタを求めるために、偏微分などをやる。
ただ、尤度を最大＝cross-entropy最小、の原理を使うのであれば、cross-entropyとしては、対数は必須なので、対数化は必然ということになります。ここについて明記された書物は、いまのところ発見できません。謎のところです。
最尤推定 (2)
最尤推定から、cross-entropyを求めるところ、すなわち、
(1/n)log(L) = (1/n)Σlog(q(xi)) --- (1)
から、
(1/n)log(L) = Σp(xi)log(q(xi)) --- (2)
に「ジャンプ」することろですが、直観的にはわかりますし、書籍でもこのように書いているものもあります。
ただ、数学的な根拠についてはよくわからないので、先日知人の数学者STさんに訊いてみたところ、この根拠は「中心極限定理」ではないか、ということでした。ふ～ん、そうなんだ。
(1/n)log(L) = (1/n)Σlog(q(xi)) --- (1)
から、
(1/n)log(L) = Σp(xi)log(q(xi)) --- (2)
に「ジャンプ」することろですが、直観的にはわかりますし、書籍でもこのように書いているものもあります。
ただ、数学的な根拠についてはよくわからないので、先日知人の数学者STさんに訊いてみたところ、この根拠は「中心極限定理」ではないか、ということでした。ふ～ん、そうなんだ。
最尤推定
最尤推定、理解していたと思っていたのですが、尤度を最大にすることと、cross-entropyを最小にすることは同じというところで、少し混乱しました。
尤度Lは以下で表されます。
L = Πq(xi) --- (1)
ここで、q(x)はモデル（＝求めたい確率密度）です。対数を取りますと、
log(L) = Σlog(q(xi)) --- (2)
ここで、機械学習的な式変形をやります。式(2)のxiは、真の分布p(x)からサンプリングされたのだから、
(1/n)log(L) = Σp(xi)log(q(xi)) --- (3)
と書くことができます。式(3)の右辺は、cross-entropyの符号を逆にしたものなので、尤度を最大にすることは、cross-entropyを最小にすることです。そのようなq(x)を見つければよいことになります。これが機械学習。
尤度Lは以下で表されます。
L = Πq(xi) --- (1)
ここで、q(x)はモデル（＝求めたい確率密度）です。対数を取りますと、
log(L) = Σlog(q(xi)) --- (2)
ここで、機械学習的な式変形をやります。式(2)のxiは、真の分布p(x)からサンプリングされたのだから、
(1/n)log(L) = Σp(xi)log(q(xi)) --- (3)
と書くことができます。式(3)の右辺は、cross-entropyの符号を逆にしたものなので、尤度を最大にすることは、cross-entropyを最小にすることです。そのようなq(x)を見つければよいことになります。これが機械学習。
微積分学の基本定理
川平友規先生著、「微分積分 1変数と2変数（2015）」は、私の感性にまことにフィットした良書です。
ここに、「第10章 微積分の基本定理」、と題して、この定理が説明されています。ここからが積分に関わる内容となっています。
しかしこの定理は不思議ですね。微分と積分はもともと全く異なる演算とみなされてきたわけですが、それが17世紀、ニュートンやライプニッツらにより、互いに逆の演算であると認識されるに至ったわけです。
高校では普通に逆の演算として教えられているもので、いまさら感があるのですが、考えてみると不思議な定理です。
ここに、「第10章 微積分の基本定理」、と題して、この定理が説明されています。ここからが積分に関わる内容となっています。
しかしこの定理は不思議ですね。微分と積分はもともと全く異なる演算とみなされてきたわけですが、それが17世紀、ニュートンやライプニッツらにより、互いに逆の演算であると認識されるに至ったわけです。
高校では普通に逆の演算として教えられているもので、いまさら感があるのですが、考えてみると不思議な定理です。
トピックモデルによる統計的潜在意味解析 (15)
佐藤一誠先生の、「トピックモデルによる統計的潜在意味解析（2015）」輪読会、昨日（2019年3月11日）第九回開催のはずが、諸事情によりドタキャンとなりました。
振替は、3月18日にやることになりました。
場所は、コワーキングスペース秋葉原 Weeyble（ウィーブル)。
（http://weeyble.com/）
東京都千代田区神田須田町２丁目１９−２３(野村第３ビル４階)。
以下が輪読会のURLです。
https://weeyble-data.connpass.com/event/122196/
振替は、3月18日にやることになりました。
場所は、コワーキングスペース秋葉原 Weeyble（ウィーブル)。
（http://weeyble.com/）
東京都千代田区神田須田町２丁目１９−２３(野村第３ビル４階)。
以下が輪読会のURLです。
https://weeyble-data.connpass.com/event/122196/
トピックモデルによる統計的潜在意味解析 (14)
佐藤一誠先生の、「トピックモデルによる統計的潜在意味解析（2015）」輪読会、本日（2019年3月11日）が第九回です。担当（のひとり）は私です。以下が担当範囲。
3.7 評価方法
3.8 各種学習アルゴリズムの比較
3.9 モデル選択
場所は、コワーキングスペース秋葉原 Weeyble（ウィーブル)。
（http://weeyble.com/）
東京都千代田区神田須田町２丁目１９−２３(野村第３ビル４階)。
以下が輪読会のURLです。
https://weeyble-data.connpass.com/event/122196/
当日でもご参加可能のはずです。お待ちしております！
3.7 評価方法
3.8 各種学習アルゴリズムの比較
3.9 モデル選択
場所は、コワーキングスペース秋葉原 Weeyble（ウィーブル)。
（http://weeyble.com/）
東京都千代田区神田須田町２丁目１９−２３(野村第３ビル４階)。
以下が輪読会のURLです。
https://weeyble-data.connpass.com/event/122196/
当日でもご参加可能のはずです。お待ちしております！
湘南工科大学非常勤講師 (18)
湘南工科大学の非常勤講師、来年度（2019年度）もやりますので、資料をだいたい作成しました。科目名は、「基礎解析のためのプログラミング」。初回は4月12日。
ついこの前、数学者のSTさんと飲みに行ったとき、ちょっと資料を見てもらいました。すると、微分の説明ところでいろいろと指摘を受けました。もっともなものなので、いまその点を改訂しています。そのため、全体構成も多少変わりました。結果的に、締まりそうです。
ついこの前、数学者のSTさんと飲みに行ったとき、ちょっと資料を見てもらいました。すると、微分の説明ところでいろいろと指摘を受けました。もっともなものなので、いまその点を改訂しています。そのため、全体構成も多少変わりました。結果的に、締まりそうです。
Google drive
遅ればせながら、Google driveを日常使うようになってきた。私はlaggard。
スマホに変えてから1年半になりますが（これは超laggard）、おそらくこれがきっかけですね。パソコンは文書を書くために多用しますが、ここでドキュメントをGoogle driveに格納しておくと、スマホで常時確認ができるわけです。もちろん編集はできませんが、確認して、改訂したい箇所をアタマに入れておく。そのあと、編集できる状況になったら、パソコンでそれをやる。この繰り返しです。
このプロセスが私にとってはかなりフィットしているので、当面はこのようにやっていこうと思います。
スマホに変えてから1年半になりますが（これは超laggard）、おそらくこれがきっかけですね。パソコンは文書を書くために多用しますが、ここでドキュメントをGoogle driveに格納しておくと、スマホで常時確認ができるわけです。もちろん編集はできませんが、確認して、改訂したい箇所をアタマに入れておく。そのあと、編集できる状況になったら、パソコンでそれをやる。この繰り返しです。
このプロセスが私にとってはかなりフィットしているので、当面はこのようにやっていこうと思います。
ものつくり大学非常勤講師 (14)
昨日（2019年3月5日）、ものつくり大学で、非常勤講師の10年勤続表彰をしてくれるというので、ノコノコと行ってまいりました。
2009年からなので、そうか、もう10年になるわけです。来年度も頼まれているので、11年目に入ります。
ヒトが表彰される場に立ち会ったことは数限りないですが、自身が表彰されるということは殆どありませんでしたから、最初は居心地が悪かったです。しかし、そのあとの懇親会は楽しかったです。昼に食事をきちんと取ったので、もっぱらビールで、初対面の方々と歓談いたしました。
このような場を作っていただきました、大学の関係者の方々には、心より御礼申し上げます。
2009年からなので、そうか、もう10年になるわけです。来年度も頼まれているので、11年目に入ります。
ヒトが表彰される場に立ち会ったことは数限りないですが、自身が表彰されるということは殆どありませんでしたから、最初は居心地が悪かったです。しかし、そのあとの懇親会は楽しかったです。昼に食事をきちんと取ったので、もっぱらビールで、初対面の方々と歓談いたしました。
このような場を作っていただきました、大学の関係者の方々には、心より御礼申し上げます。
東京理科大学オープンカレッジ (3)
来年度（2019年度）も、東京理科大学オープンカレッジの講師を務めることになりました。以下、東京理科大学オープンカレッジ事務局からのメール抜粋です。
（ここから）--------------------------------------------------------------
■日本未発売の良書から解くプロジェクトマネジメント（C05）
ソフトウェア開発プロジェクトは世の中に数あるプロジェクトの中でも、最も困難なものの一つとされ、失敗する確率も高いものです。本講座では、どのようにプロジェクトを管理すれば成功の確率を高めることができるかを学びます。エンジニア以外の方の受講も歓迎です。
日時：全5回 4月25日（木）～8月22日（木）19:00～21:00
講師：加納裕 湘南工科大学・ものつくり大学非常勤講師
受講料：27,500円
（ここまで）--------------------------------------------------------------
くわしい講座の情報、お申し込み、お問い合わせは、以下のURLをご参照ください。
http://www.tus.ac.jp/manabi/
（ここから）--------------------------------------------------------------
■日本未発売の良書から解くプロジェクトマネジメント（C05）
ソフトウェア開発プロジェクトは世の中に数あるプロジェクトの中でも、最も困難なものの一つとされ、失敗する確率も高いものです。本講座では、どのようにプロジェクトを管理すれば成功の確率を高めることができるかを学びます。エンジニア以外の方の受講も歓迎です。
日時：全5回 4月25日（木）～8月22日（木）19:00～21:00
講師：加納裕 湘南工科大学・ものつくり大学非常勤講師
受講料：27,500円
（ここまで）--------------------------------------------------------------
くわしい講座の情報、お申し込み、お問い合わせは、以下のURLをご参照ください。
http://www.tus.ac.jp/manabi/
ゲーデルの不完全性定理 (5)
H先生による、「ゲーデルの不完全性定理」特別ゼミ、第五回が2019年3月2日開催されました。新宿の某所にて。
すでに落ちこぼれています。論理は難しいです...
最後に、計算論との比較が持ち出されました。なにやら不完全性定理というのは、チューリングの停止問題と関連しているようですね。このあたりは最終回（4月6日）に解明されることになっています。
すでに落ちこぼれています。論理は難しいです...
最後に、計算論との比較が持ち出されました。なにやら不完全性定理というのは、チューリングの停止問題と関連しているようですね。このあたりは最終回（4月6日）に解明されることになっています。
Mathematica (15)
Wolframから、Webinarの案内メールがまいりました。
恥ずかしながら、私はWebinarという言葉をつい最近まで知らなかったのですが、たまたま某会議に参加していて、この単語を聴きました。これはなにかと質問しようとしたのですが、あまりにもあたりまえに使っていたので、訊くのを躊躇→検索。なるほど、わかりました。
そうしたところのメールだったので、これは参加したほうがよいと、登録しました。MathematicaによるNeural Network実装に関する話です。
恥ずかしながら、私はWebinarという言葉をつい最近まで知らなかったのですが、たまたま某会議に参加していて、この単語を聴きました。これはなにかと質問しようとしたのですが、あまりにもあたりまえに使っていたので、訊くのを躊躇→検索。なるほど、わかりました。
そうしたところのメールだったので、これは参加したほうがよいと、登録しました。MathematicaによるNeural Network実装に関する話です。
トピックモデルによる統計的潜在意味解析 (13)
佐藤一誠先生「トピックモデルによる統計的潜在意味解析（2015）」輪読会、次回で3章を終わるのですが、4章、5章もやる予定になっています。
4.2 潜在意味空間における回帰（4.1含む）
4.3 潜在意味空間における分類
5.1 相関構造のモデリング←担当者決定
5.2 系列データのモデリング
5.3 時系列データのモデリング（最後まで）←担当者決定
おそらく、人員的に、もう一回くらいやらないといけないと思われますが、5.2は難しそうです。系列データは苦手です。思案してます。
4.2 潜在意味空間における回帰（4.1含む）
4.3 潜在意味空間における分類
5.1 相関構造のモデリング←担当者決定
5.2 系列データのモデリング
5.3 時系列データのモデリング（最後まで）←担当者決定
おそらく、人員的に、もう一回くらいやらないといけないと思われますが、5.2は難しそうです。系列データは苦手です。思案してます。
トピックモデルによる統計的潜在意味解析 (12)
佐藤一誠先生の、「トピックモデルによる統計的潜在意味解析（2015）」、の輪読会、第九回も担当することになりました。担当範囲は以下です。
3.7 評価方法
3.8 各種学習アルゴリズムの比較
3.9 モデル選択
場所は、コワーキングスペース秋葉原 Weeyble（ウィーブル)。
（http://weeyble.com/）
東京都千代田区神田須田町２丁目１９−２３(野村第３ビル４階)。
以下が輪読会のURLです。
https://weeyble-data.connpass.com/event/122196/
お時間のあるかたのご参加を、お待ちしております！
3.7 評価方法
3.8 各種学習アルゴリズムの比較
3.9 モデル選択
場所は、コワーキングスペース秋葉原 Weeyble（ウィーブル)。
（http://weeyble.com/）
東京都千代田区神田須田町２丁目１９−２３(野村第３ビル４階)。
以下が輪読会のURLです。
https://weeyble-data.connpass.com/event/122196/
お時間のあるかたのご参加を、お待ちしております！
Made in Japan
「ボヘミアン・ラプソディ」を観て以来、ちょっとハードロック（死語？）を聴きたくなってきた。
私の時代の定番は、Deep Purpleです。iTuneで検索してみました。
"Live in Japan"のデラックス版として、"Made in Japan"というのを見つけました。もととも、"Live in Japan"は、国外では"Made in Japan"として発売されたのは知っていましたが、これはその拡大版ですね。
Black Nightが三つ入っています。1972年8月15-17日の3日間です。最初の2日が大阪、最後が東京です。かなりタイトなスケジュールだったわけです。というわけで、購入。
私の時代の定番は、Deep Purpleです。iTuneで検索してみました。
"Live in Japan"のデラックス版として、"Made in Japan"というのを見つけました。もととも、"Live in Japan"は、国外では"Made in Japan"として発売されたのは知っていましたが、これはその拡大版ですね。
Black Nightが三つ入っています。1972年8月15-17日の3日間です。最初の2日が大阪、最後が東京です。かなりタイトなスケジュールだったわけです。というわけで、購入。
湘南工科大学非常勤講師 (17)
湘南工科大学の非常勤講師、来年度（2019年度）もやることになりました。科目名は、「基礎解析のためのプログラミング」です。
いま資料を作成中です。今年の前期に同じ科目をやったのですが、学生さんアンケートの結果、いろいろと反省点がありまして、作り直します。
いま資料を作成中です。今年の前期に同じ科目をやったのですが、学生さんアンケートの結果、いろいろと反省点がありまして、作り直します。
今後のマラソン予定 (35)
マラソン予定のアップデートです！
１）TAMAハーフマラソンat FUTAKOBASHI（ハーフ、神奈川、2019年4月6日）←四度目、単独
２）第16回京都トレイルラン 東山コース2019（32キロ、京都、2019年4月20日）←初
１）は、2月の悪天候（雪、低気温）で順延となったやつです。
２）ですが、神戸六甲トレランの案内メールに載っていたものです。昨年の六甲40キロはキツ過ぎて、もうやりませんが、それよりも距離が短いので、懲りずにエントリしてしまいました。
１）TAMAハーフマラソンat FUTAKOBASHI（ハーフ、神奈川、2019年4月6日）←四度目、単独
２）第16回京都トレイルラン 東山コース2019（32キロ、京都、2019年4月20日）←初
１）は、2月の悪天候（雪、低気温）で順延となったやつです。
２）ですが、神戸六甲トレランの案内メールに載っていたものです。昨年の六甲40キロはキツ過ぎて、もうやりませんが、それよりも距離が短いので、懲りずにエントリしてしまいました。
東京理科大学オープンカレッジ (2)
「東京理科大学オープンカレッジ」の講師、本日（2019年2月21日）が最終です。
http://kanouy.blog9.fc2.com/blog-entry-2141.html
何かを本当に理解することの最良の方法は、それについて他者から話を聞くことではなく、自分自身が人に教えることです。
http://kanouy.blog9.fc2.com/blog-entry-2141.html
何かを本当に理解することの最良の方法は、それについて他者から話を聞くことではなく、自分自身が人に教えることです。
AIのための数学
ある程度、AI（というか機械学習）の技術に携わってきたところで、「AIのための数学」という資料をまとめてみました。全12回です。
ターゲットは、”Deep Learning (2016)”の6.1節に載っている、XORを実現するニューラルネットワーク（NN）の学習です。つまり、誤差逆伝播法（backpropagation、短くはbackprop）。
backpropは、30年以上前の技術ですが、なぜこれをターゲットとするのかというと、最近の生成モデル（generative models）、つまりVAE（variational autoencoders）およびGAN（generative adversarial networks）では、backpropで学習できることがウリなのです。backpropは、非常に明確に定義されたアルゴリズムです。
また、backpropを習得するにあたり、それに必要な数学のセットがちょうどよい。線型代数・微分積分・確率の三点セットが、うまくブレンドされているわけです。
資料を作るにあたり、参考にした書籍は、"Deep Learning (2016)"と、"PRML (2006)"です。ともに名著。
ターゲットは、”Deep Learning (2016)”の6.1節に載っている、XORを実現するニューラルネットワーク（NN）の学習です。つまり、誤差逆伝播法（backpropagation、短くはbackprop）。
backpropは、30年以上前の技術ですが、なぜこれをターゲットとするのかというと、最近の生成モデル（generative models）、つまりVAE（variational autoencoders）およびGAN（generative adversarial networks）では、backpropで学習できることがウリなのです。backpropは、非常に明確に定義されたアルゴリズムです。
また、backpropを習得するにあたり、それに必要な数学のセットがちょうどよい。線型代数・微分積分・確率の三点セットが、うまくブレンドされているわけです。
資料を作るにあたり、参考にした書籍は、"Deep Learning (2016)"と、"PRML (2006)"です。ともに名著。
関西出張 (21)
本日（2019年2月19日）は、大阪に行ってまいります。
昨年2018年10月から、社内的な立場が変わりまして、それに伴い、大阪への出張が減りました。以前は1か月に1～2度行っていたのですが、いまは数か月に1度という頻度です。
行く理由としては、インターン学生さんを受け入れている豊橋技術科学大学のK先生が、当社に視察にお見えになるので、それに同席するということでございます。そのあとは、いつも通り、飲み会です。
昨年2018年10月から、社内的な立場が変わりまして、それに伴い、大阪への出張が減りました。以前は1か月に1～2度行っていたのですが、いまは数か月に1度という頻度です。
行く理由としては、インターン学生さんを受け入れている豊橋技術科学大学のK先生が、当社に視察にお見えになるので、それに同席するということでございます。そのあとは、いつも通り、飲み会です。
数学同好会 (14)
先週（2019年2月14日）は、＜数学同好会＞でした。何回目の開催かは忘れました。関内ホール裏手の、いつものお店にて。
13名の参加でした。最近は20名程度の参加が続き、盛況だったのですが、今回は少なめです。常連の人が参加しないのですが、それによると、バレンタインデーだからということでした。
13名の参加でした。最近は20名程度の参加が続き、盛況だったのですが、今回は少なめです。常連の人が参加しないのですが、それによると、バレンタインデーだからということでした。
cross-entropyの謎 (7)
cross-entropyの計算、いろいろと習得できたのですが、いまだはっきりとわからないのが、最尤推定からcross-entropyを導くところです。
PRMLでは、ややこしい式から、cross-entropyを導きます。4.3. Probabilistic Discriminative Models のところです。岡谷先生の「深層学習」でも、同じ道筋を踏襲。
一方、DL本では、5.5 Maximum Likelihood Estimation において、まったく異なる（と思われる）道筋が示されます。これは面白い議論ですが、この両者が同じことを言っているのかどうか、よくわからない。
もう少し考えますが、簡単な道筋のほうがいいですね。
PRMLでは、ややこしい式から、cross-entropyを導きます。4.3. Probabilistic Discriminative Models のところです。岡谷先生の「深層学習」でも、同じ道筋を踏襲。
一方、DL本では、5.5 Maximum Likelihood Estimation において、まったく異なる（と思われる）道筋が示されます。これは面白い議論ですが、この両者が同じことを言っているのかどうか、よくわからない。
もう少し考えますが、簡単な道筋のほうがいいですね。
血液型
血液型が性格に関係があるかどうかというのは、長らく議論されています。
私見では、間違いなく、関係があると思います。
関係ないという根拠のひとつは、ノーベル医学生理学賞受賞者・利根川進氏が、以前そのように発言していた（というか、何かの本に記していた）ことによります。ただ、これは、証明されていない、ということにほかなりません。
先日、私が所属するサッカーチームのメンバの居酒屋さんに行きました。私を含め、合計5人いましたが、私以外は全員B型でした（私はA型）。
B型というのは、統計的には、20%です。4人が全員B型である確率は、
(0.2)4=0.0064
1%の有意水準でも引っかかるので、偶然ではないですね。サッカー関係者は自己中なので、明らかに血液型は性格と相関があると思われます。
私見では、間違いなく、関係があると思います。
関係ないという根拠のひとつは、ノーベル医学生理学賞受賞者・利根川進氏が、以前そのように発言していた（というか、何かの本に記していた）ことによります。ただ、これは、証明されていない、ということにほかなりません。
先日、私が所属するサッカーチームのメンバの居酒屋さんに行きました。私を含め、合計5人いましたが、私以外は全員B型でした（私はA型）。
B型というのは、統計的には、20%です。4人が全員B型である確率は、
(0.2)4=0.0064
1%の有意水準でも引っかかるので、偶然ではないですね。サッカー関係者は自己中なので、明らかに血液型は性格と相関があると思われます。
第37回TAMAハーフマラソンat FUTAKOBASHI顛末記
第37回TAMAマラソンat Futakobashi（2019年2月9日）ですが、悪天候（積雪・低気温）が予想されたため、前日に中止メールをいただきました。
これは妥当な判断だと思いました。もしも強行されたのであれば、参加しましたが。
代替レースが、4月6日となりました。これも妥当。もちろん参加します。お金払ってるし。
これは妥当な判断だと思いました。もしも強行されたのであれば、参加しましたが。
代替レースが、4月6日となりました。これも妥当。もちろん参加します。お金払ってるし。
cross-entropyの謎 (6)
softmaxにおける、cross-entropyの偏微分計算、やっとできました。場合分けが必要です。すなわち、
L = -Σktk log(yk) --- (1)
yk = exp(xk) / Σiexp(xi) --- (2)
としたときに、
∂L/∂xk = Σj(∂L/∂yj)(∂yj/∂xk) --- (3)
を計算します。
∂L/∂xk = Σj(-tj/yj)(∂yj/∂xk) --- (4)
ですが、ここで、k=jのときと、k≠jのときで結果が異なりますので、場合分けをしなければなりません。
まず、k=jのとき、式(4)は、
∂L/∂xk = (-tk/yk)(∂yk/∂xk) = (-tk/yk)(exp(xk)Σiexp(xi)-(exp(xk))2)/(Σiexp(xi))2 = (-tk/yk)(yk-yk2) = -tk(1-yk)--- (5)
一方、k≠jのときは、
∂L/∂xk = Σj(-tj/yj)(-exp(xj)exp(xk))/(Σiexp(xi))2 = Σj(tj/yj)yjyk = ykΣjtj = yk(1-tk)--- (6)
式(6)では、最後のΣはイチとはなりません。k=jのときを省いているからです。ここで間違えました。
さて、式(5)と式(6)を足したものが答えなので、
∂L/∂xk = -tk(1-yk) + yk(1-tk) = yk - tk --- (7)
直接代入してやると、対数のおかげで場合分けは不要です。対数というのは、計算を簡単にしてくれる、魔法のツールです。
L = -Σktk log(yk) --- (1)
yk = exp(xk) / Σiexp(xi) --- (2)
としたときに、
∂L/∂xk = Σj(∂L/∂yj)(∂yj/∂xk) --- (3)
を計算します。
∂L/∂xk = Σj(-tj/yj)(∂yj/∂xk) --- (4)
ですが、ここで、k=jのときと、k≠jのときで結果が異なりますので、場合分けをしなければなりません。
まず、k=jのとき、式(4)は、
∂L/∂xk = (-tk/yk)(∂yk/∂xk) = (-tk/yk)(exp(xk)Σiexp(xi)-(exp(xk))2)/(Σiexp(xi))2 = (-tk/yk)(yk-yk2) = -tk(1-yk)--- (5)
一方、k≠jのときは、
∂L/∂xk = Σj(-tj/yj)(-exp(xj)exp(xk))/(Σiexp(xi))2 = Σj(tj/yj)yjyk = ykΣjtj = yk(1-tk)--- (6)
式(6)では、最後のΣはイチとはなりません。k=jのときを省いているからです。ここで間違えました。
さて、式(5)と式(6)を足したものが答えなので、
∂L/∂xk = -tk(1-yk) + yk(1-tk) = yk - tk --- (7)
直接代入してやると、対数のおかげで場合分けは不要です。対数というのは、計算を簡単にしてくれる、魔法のツールです。
cross-entropyの謎 (5)
softmaxにおける、cross-entropyの偏微分計算、習得したのですが、
http://kanouy.blog9.fc2.com/blog-entry-2027.html
L = -Σktk log(yk) --- (1)
yk = exp(xk) / Σiexp(xi) --- (2)
ここで、式(2)を式(1)に代入せずに、
∂L/∂xk = Σj(∂L/∂yj)(∂yj/∂xk) --- (3)
としてやってみようとしました。同じことだし、このほうが簡単にできると思ったのです。
しかしながら、場合分けをする必要が出てきて、ややこしくなり、挫折しました。添え字が三つでてきて（微分したい添え字／偏微分の総和の添え字／確率の正規化の添え字）、混乱したのですが、おかしいな...相変わらず計算力はない。
http://kanouy.blog9.fc2.com/blog-entry-2027.html
L = -Σktk log(yk) --- (1)
yk = exp(xk) / Σiexp(xi) --- (2)
ここで、式(2)を式(1)に代入せずに、
∂L/∂xk = Σj(∂L/∂yj)(∂yj/∂xk) --- (3)
としてやってみようとしました。同じことだし、このほうが簡単にできると思ったのです。
しかしながら、場合分けをする必要が出てきて、ややこしくなり、挫折しました。添え字が三つでてきて（微分したい添え字／偏微分の総和の添え字／確率の正規化の添え字）、混乱したのですが、おかしいな...相変わらず計算力はない。
cross-entropyの謎 (4)
計算の練習で、2クラス分類における、cross entropyの微分を計算してみました。
L = -t*log(y) - (1-t)*log(1-y) --- (1)
と、cross entropyを定義します。これをyで微分すると、
∂L/∂y = -t/y + (1-t)/(1-y) = (y-t)/(y(1-y)) --- (2)
ここで、
y = 1 / (1 + exp(-x)) --- (3)
ですが（シグモイド関数）、これは、以下が成り立つことが知られています（計算してもよい）。
dy/dx = y(1-y) --- (4)
式(2)と式(4)を組み合わせると、
∂L/∂x = y - t --- (5)
となり、非常に簡単な式が得られました。機械学習における、重要な結論のひとつです。
L = -t*log(y) - (1-t)*log(1-y) --- (1)
と、cross entropyを定義します。これをyで微分すると、
∂L/∂y = -t/y + (1-t)/(1-y) = (y-t)/(y(1-y)) --- (2)
ここで、
y = 1 / (1 + exp(-x)) --- (3)
ですが（シグモイド関数）、これは、以下が成り立つことが知られています（計算してもよい）。
dy/dx = y(1-y) --- (4)
式(2)と式(4)を組み合わせると、
∂L/∂x = y - t --- (5)
となり、非常に簡単な式が得られました。機械学習における、重要な結論のひとつです。
