トピックモデルによる統計的潜在意味解析 (7)
佐藤一誠先生、「トピックモデルによる統計的潜在意味解析（2015）」、数式に懲りて、もう読むことはないと思い、とある場所に置いていたのですが、知人のMathematica達人、松田さんから、同書の輪読会を教えてもらいました。すぐに参加申し込みをするということは、やはり楽しい書物ということです。
さて、輪読会当日、とある場所に出向き、同書を引き取り、その夜、ノコノコと行ってまいりました。秋葉原のコワーキングスペースです。
すでに三回目で、今回は3.学習アルゴリズムからです。ここからが本題なので、タイミングは最適。
輪読会というものへの参加は、今回が初めてだったのですが、出てみてわかったことは、非常に有意義だということ。どんな優秀な人に対しても、特定の書物の中の、特定の数式について訊いても、回答はもらえません。しかし、このような輪読会では、参加者はすでに特定の書物が興味の対象なので、その中の特定の数式について訊くと、答えてくれる人がいるわけです。貴重な2時間を過ごしました。これで千円なので安いです。
というわけで、この輪読会は、リピーターとなりました。驚くべきことに、知人のM先生に会いました。こういうのも楽しいです。
さて、輪読会当日、とある場所に出向き、同書を引き取り、その夜、ノコノコと行ってまいりました。秋葉原のコワーキングスペースです。
すでに三回目で、今回は3.学習アルゴリズムからです。ここからが本題なので、タイミングは最適。
輪読会というものへの参加は、今回が初めてだったのですが、出てみてわかったことは、非常に有意義だということ。どんな優秀な人に対しても、特定の書物の中の、特定の数式について訊いても、回答はもらえません。しかし、このような輪読会では、参加者はすでに特定の書物が興味の対象なので、その中の特定の数式について訊くと、答えてくれる人がいるわけです。貴重な2時間を過ごしました。これで千円なので安いです。
というわけで、この輪読会は、リピーターとなりました。驚くべきことに、知人のM先生に会いました。こういうのも楽しいです。
スポンサーサイト
ザ・プラクティス
私が大好きだった、アメリカの法廷もの、「ザ・プラクティス」ですが、シーズン1と2しかDVD化されていません。あの傑作が、もう観られないのか...
と長らく思っていたとき、何気にYouTubeを探していたら、なんと、ありました！
数あるなかでも、私の好きなエピソードがあるのですが、それも発見しました。シーズン5のエピソード8。必見です。最後の検察側のclosingが聴きもの（聴き取れないけれど）。
版権の問題はあるのかもしれませんが、楽しみが増えました。
と長らく思っていたとき、何気にYouTubeを探していたら、なんと、ありました！
数あるなかでも、私の好きなエピソードがあるのですが、それも発見しました。シーズン5のエピソード8。必見です。最後の検察側のclosingが聴きもの（聴き取れないけれど）。
版権の問題はあるのかもしれませんが、楽しみが増えました。
第8回TAMAチャレンジ顛末記
第8回TAMAチャレンジを走りました。2019年1月5日、ハーフです。
これは、さまざまな距離を走ることができます。5キロ／10キロ／15キロ／20キロ／ハーフ／30キロ／フル。前回の顛末はこちらです。
http://kanouy.blog9.fc2.com/blog-entry-2172.html
当日は快晴。気温も天気予報では3月並み。私には最高でした。
今回は、最後まできちんと走ることを目的としました。結果として、最後の1キロが最も速かったです。記録は、2時間2分でした。2時間切りはできませんでしたが、目的敢行のため、中盤でかなりセーブしたことによります。それがなければ、切れたかも。
これは、さまざまな距離を走ることができます。5キロ／10キロ／15キロ／20キロ／ハーフ／30キロ／フル。前回の顛末はこちらです。
http://kanouy.blog9.fc2.com/blog-entry-2172.html
当日は快晴。気温も天気予報では3月並み。私には最高でした。
今回は、最後まできちんと走ることを目的としました。結果として、最後の1キロが最も速かったです。記録は、2時間2分でした。2時間切りはできませんでしたが、目的敢行のため、中盤でかなりセーブしたことによります。それがなければ、切れたかも。
JRE POINT
ビューカードのポイントがJRE POINTというのに変わりました。ビューカードはよく使うので、ポイントがかなりたまっています。
ではどうやって使うのか？ビューカードのときは、定期的に商品券に交換していました。それが、今回の変更で、ポイントを使うときは、JRE POINTカードというのを入手しなければなりません。
では、これはどうやって入手するのでしょうか？ビューカードが更新されるときに、JRE POINT機能付きのものになるとのことですが、それまで待つのもよろしくないので、JRの駅チカで作りました。これは簡単で、その場で申し込めばよろしい。
しかし、このJRE POINTカードで、たまっているビューカードのポイントを使うことは、すぐにはできないのです。3週間ほど待たなければなりません。申し込みは紙なので、人手でいろいろと入力しなければならないんだろうな...
3週間ほどかかるとのことでしたが、そのとおり、3週間したら、JRE POINTのウェブサイトで、入手したJRE POINTカードを登録することができ、そうすると、これまでビューカードでためていたポイントが使えるようになるのでした。
ややこしいのが、ビューカードのクレジット番号と、ビューカードに付加されるJRE POINT番号は、全く関係ないということです。すべてを終えてしまえば便利ですが、この仕組みはかなりややこしいです。システム統合のしわ寄せが集約された感じです。
ではどうやって使うのか？ビューカードのときは、定期的に商品券に交換していました。それが、今回の変更で、ポイントを使うときは、JRE POINTカードというのを入手しなければなりません。
では、これはどうやって入手するのでしょうか？ビューカードが更新されるときに、JRE POINT機能付きのものになるとのことですが、それまで待つのもよろしくないので、JRの駅チカで作りました。これは簡単で、その場で申し込めばよろしい。
しかし、このJRE POINTカードで、たまっているビューカードのポイントを使うことは、すぐにはできないのです。3週間ほど待たなければなりません。申し込みは紙なので、人手でいろいろと入力しなければならないんだろうな...
3週間ほどかかるとのことでしたが、そのとおり、3週間したら、JRE POINTのウェブサイトで、入手したJRE POINTカードを登録することができ、そうすると、これまでビューカードでためていたポイントが使えるようになるのでした。
ややこしいのが、ビューカードのクレジット番号と、ビューカードに付加されるJRE POINT番号は、全く関係ないということです。すべてを終えてしまえば便利ですが、この仕組みはかなりややこしいです。システム統合のしわ寄せが集約された感じです。
トピックモデル (2)
ご無沙汰していた、「トピックモデル」ですが、某MLにて、Bleiのオリジナル論文が添付されてきました。2003年のものです。
これは読んだことがなかったので、見てみました。これによると、β、すなわち、各トピックにおける単語の生起確率（多項分布）は、推定されていません。オリジナルなので、解法にはいろいろと改良すべき点がありますね。実際、このあと進化しているのは周知のとおり。
しかし、最初にこのモデルを作ったBleiという人はすごいですね。YouTubeに本人による解説ビデオがアップされているので、観てみました。コメントで面白かったのが、"Why is Elvis teaching topic models?"というもの。Bleiはエルビスに似ているんです。
このプレゼンは、まさにプレゼンのお手本です。トピックモデルに興味ある人は、ぜひご覧いただきたいです。最初に聞き取れなかったのが、「ディリシュレ」。これはディリクレです。
これは読んだことがなかったので、見てみました。これによると、β、すなわち、各トピックにおける単語の生起確率（多項分布）は、推定されていません。オリジナルなので、解法にはいろいろと改良すべき点がありますね。実際、このあと進化しているのは周知のとおり。
しかし、最初にこのモデルを作ったBleiという人はすごいですね。YouTubeに本人による解説ビデオがアップされているので、観てみました。コメントで面白かったのが、"Why is Elvis teaching topic models?"というもの。Bleiはエルビスに似ているんです。
このプレゼンは、まさにプレゼンのお手本です。トピックモデルに興味ある人は、ぜひご覧いただきたいです。最初に聞き取れなかったのが、「ディリシュレ」。これはディリクレです。
ISMS
当社は、ISMS認証(ISO27001)を取得いたしました。2018年12月19日付け。
ISMSとは、Information Security Management Systemの略です。これを取得すれば、情報管理を組織的にきちんとやっているとみなされるものです。
ISMSとは、Information Security Management Systemの略です。これを取得すれば、情報管理を組織的にきちんとやっているとみなされるものです。
新年のご挨拶 (9)
あけましておめでとうございます。本年（2019年）も、よろしくお願いいたします。
私の年末年始イベントは、以下のとおりでした。ランが多かったです。
29日：大阪より帰京（新大阪～小田原）。米原～岐阜羽島が雪のため少しの遅れ。
30日：掃除。窓の手入れなど、かなりきちんとやりました。私は10キロラン。連れは仕事の息子に差し入れ。
31日：掃除（風呂）。西鎌倉の青蓮寺まで走り納め10キロ。鐘もつきました（昨年と同じ）。
01日：両親入居の大船のホームへ。連れと息子、姉妹の5人で押しかける（昨年と同じ）。
02日：箱根駅伝をテレビおよび近場で観戦。そのあとランニング12キロ。U大Y先生チャレンジ対応。娘が夜に襲来。
03日：連れは仕事。私は箱根駅伝の見学がてら、ランニング16キロ。
04日：ランニング14キロ。あとは、正月ボケ防止のため、数学の勉強にあてました。娘は風のように去る。
私の年末年始イベントは、以下のとおりでした。ランが多かったです。
29日：大阪より帰京（新大阪～小田原）。米原～岐阜羽島が雪のため少しの遅れ。
30日：掃除。窓の手入れなど、かなりきちんとやりました。私は10キロラン。連れは仕事の息子に差し入れ。
31日：掃除（風呂）。西鎌倉の青蓮寺まで走り納め10キロ。鐘もつきました（昨年と同じ）。
01日：両親入居の大船のホームへ。連れと息子、姉妹の5人で押しかける（昨年と同じ）。
02日：箱根駅伝をテレビおよび近場で観戦。そのあとランニング12キロ。U大Y先生チャレンジ対応。娘が夜に襲来。
03日：連れは仕事。私は箱根駅伝の見学がてら、ランニング16キロ。
04日：ランニング14キロ。あとは、正月ボケ防止のため、数学の勉強にあてました。娘は風のように去る。
納会 (7)
本日（2018年12月28日）は、守口本社（大阪）にて納会です。15時からの予定です。昨年に引き続き、今年もまいります。
それでは、みなさまにとりまして、来年は（も）良い年となりますように！正月が明けましたら、適当にBLOGを再開いたします。
それでは、みなさまにとりまして、来年は（も）良い年となりますように！正月が明けましたら、適当にBLOGを再開いたします。
ボヘミアン・ラプソディ
当初は観る予定のなかった、「ボヘミアン・ラプソディ」、周囲の熱に押され、観ることにしました。
クイーンはリアルタイムで聴いていましたが、特別に好きなバンドではありませんでした。良い曲を作るという認識はありました。私は当時は、イエスとか、ピンク・フロイド、キング・クリムゾンなどを好んでいました。いまや死語となった、プログレです。
映画はよくできています。ブライアン・メイが最もよく似ていました。ロジャー・テイラーはあまり似ていない。ジョン・ディーコンは地味なので、よくわからない。
そのあと知ったのは、2歳上の姉がライブ・エイドに行ったということ。姉と妹のLINEやりとりを見て知りました。ステージから3列めだったそうです。
クイーンはリアルタイムで聴いていましたが、特別に好きなバンドではありませんでした。良い曲を作るという認識はありました。私は当時は、イエスとか、ピンク・フロイド、キング・クリムゾンなどを好んでいました。いまや死語となった、プログレです。
映画はよくできています。ブライアン・メイが最もよく似ていました。ロジャー・テイラーはあまり似ていない。ジョン・ディーコンは地味なので、よくわからない。
そのあと知ったのは、2歳上の姉がライブ・エイドに行ったということ。姉と妹のLINEやりとりを見て知りました。ステージから3列めだったそうです。
Variational Autoencoders
遅ればせながら、Variational Autoencoders（VAE）、勉強してみました。以下のふたつの論文です。
1) Auto-Encoding Variational Bayes, Kingma & Welling, 2014.
2) Tutorial on Variational Autoencoders, Doersch, 2016.
双方とも、arXivで取れます。便利な世の中になりました。今後も学会というものは、存在するのだろうか？
1)はオリジナル論文です。2)はそれの解説。1)はわかりづらいところが多く、2)がたいへん参考になりました。それでもわからないところはありますが。
1) Auto-Encoding Variational Bayes, Kingma & Welling, 2014.
2) Tutorial on Variational Autoencoders, Doersch, 2016.
双方とも、arXivで取れます。便利な世の中になりました。今後も学会というものは、存在するのだろうか？
1)はオリジナル論文です。2)はそれの解説。1)はわかりづらいところが多く、2)がたいへん参考になりました。それでもわからないところはありますが。
ポアソン分布 (3)
ポアソン分布は、以下の式で表されます。
p(x;μ) = (μxe-μ)/x! --- (1)
平均はμです。これは、二項分布からポアソン分布が導けることを使えば、至極簡単にわかるのですが、正統的な平均の計算でやってみます。
平均＝Σx (μxe-μ)/x! --- (2)
Σはx=1～∞です。本当はゼロからですが、x=ゼロのときはその項はゼロですから、無視してよい。
さて、式(2)をxで約分し、さらにxに無関係な項をΣの外に出すと、
平均＝e-μΣμx/(x-1)! --- (3)
ついでに、μもひとつΣの外に出します。x=1からなので、各項に必ずμはひとつある。
平均＝μe-μΣμx-1/(x-1)! --- (4)
式(4)のΣの中身をじっとみると、これはeμをテイラー展開したものと同じです。したがって、
平均＝μe-μeμ = μ --- (5)
が導けました。
p(x;μ) = (μxe-μ)/x! --- (1)
平均はμです。これは、二項分布からポアソン分布が導けることを使えば、至極簡単にわかるのですが、正統的な平均の計算でやってみます。
平均＝Σx (μxe-μ)/x! --- (2)
Σはx=1～∞です。本当はゼロからですが、x=ゼロのときはその項はゼロですから、無視してよい。
さて、式(2)をxで約分し、さらにxに無関係な項をΣの外に出すと、
平均＝e-μΣμx/(x-1)! --- (3)
ついでに、μもひとつΣの外に出します。x=1からなので、各項に必ずμはひとつある。
平均＝μe-μΣμx-1/(x-1)! --- (4)
式(4)のΣの中身をじっとみると、これはeμをテイラー展開したものと同じです。したがって、
平均＝μe-μeμ = μ --- (5)
が導けました。
ボールペン替芯
私はノートに手書きするときは、ボールペンを使います。黒と赤は必携。
両者とも、インクが残り少なくなりました。インクがなくなったら、ボールペンを買い替えようと思っていました。
ときを同じく、息子が一時帰宅しました。彼は某大手流通店舗にて、文具フロアの管理をしています。それで、ボールペンの話となりました。
恥ずかしながら、私はボールペンの「替芯」を買ったことがないことに気づきました。というわけで、某Y社店舗にて、替芯を黒赤一本づつ購入しました。非常によいことをしたような気分になりました。
両者とも、インクが残り少なくなりました。インクがなくなったら、ボールペンを買い替えようと思っていました。
ときを同じく、息子が一時帰宅しました。彼は某大手流通店舗にて、文具フロアの管理をしています。それで、ボールペンの話となりました。
恥ずかしながら、私はボールペンの「替芯」を買ったことがないことに気づきました。というわけで、某Y社店舗にて、替芯を黒赤一本づつ購入しました。非常によいことをしたような気分になりました。
Mathematica (14)
2018年12月18日、Wolfram Conference Japanが開催されました。御茶ノ水ソラシティ―にて。
Mathematicaは最近では機械学習、特にニューラルネット実装に力を入れています。その紹介がありました。Variational Autoencoders（VAE）などが簡単に作れます。
圧巻だったのが、富士通のかたの、Wolfram Communityへの投稿の事例。好きなベーシストの楽曲をMIDIデータとして、それを画像に変換。その画像により生成モデルを構築します。それで出力されたものが、そのベーシストによる新しい楽曲ということですが、これらをすべてMathematicaで実装！
世の中にはすごい人がいるものです。
Mathematicaは最近では機械学習、特にニューラルネット実装に力を入れています。その紹介がありました。Variational Autoencoders（VAE）などが簡単に作れます。
圧巻だったのが、富士通のかたの、Wolfram Communityへの投稿の事例。好きなベーシストの楽曲をMIDIデータとして、それを画像に変換。その画像により生成モデルを構築します。それで出力されたものが、そのベーシストによる新しい楽曲ということですが、これらをすべてMathematicaで実装！
世の中にはすごい人がいるものです。
ACM (4)
ACM (Association for Computing Machinery) の更新をいたしました。今回は、SIGGRAPHとDigital Libraryはやめました。関連学会割引（情報処理学会）で、合計79ドルです。かなり安くなりました。
来年度更新から、retired資格が得られます。嬉しいのか嬉しくないのか...
来年度更新から、retired資格が得られます。嬉しいのか嬉しくないのか...
掃き出し法
逆行列の計算を、いわゆる、掃き出し法で計算していました。
3x3で、元の行列の要素はすべて小さな整数なので、簡単であるべきですが、途中で分母が大きくなったりします。計算力は自信がない。
案の定、最後は合いません（いちおう、別のツールで正解は得ていた）。検算するも、どこがおかしいかわからず、何度かやめようかな～と思いましたが、くやしいので、合うまでやりました。
何回かやると、途中で間違える感触が得られます。多少とも分母が大きくなるのは普通なのですが、それよりも大きくなると、やはりなにかおかしい。
3x3で、元の行列の要素はすべて小さな整数なので、簡単であるべきですが、途中で分母が大きくなったりします。計算力は自信がない。
案の定、最後は合いません（いちおう、別のツールで正解は得ていた）。検算するも、どこがおかしいかわからず、何度かやめようかな～と思いましたが、くやしいので、合うまでやりました。
何回かやると、途中で間違える感触が得られます。多少とも分母が大きくなるのは普通なのですが、それよりも大きくなると、やはりなにかおかしい。
西郷どん
「西郷どん」、昨日（2018年12月16日）終了いたしました。途中で観なかったときもありましたが、やはり西南戦争の場面は観ないといけません。
西郷隆盛の最後は城山でした。私は小学校5年のとき、東京から鹿児島に転校しました。たしか6年のときだったと思いますが、学校で社会見学として城山に行き、ここで西南戦争が終わったという説明があったのを記憶しています。洞窟も見ました。
薩摩言葉は、当時もあんな感じでしたね。懐かしく思い起こされます。
司馬遼太郎先生の「翔ぶが如く」もお薦めです。
西郷隆盛の最後は城山でした。私は小学校5年のとき、東京から鹿児島に転校しました。たしか6年のときだったと思いますが、学校で社会見学として城山に行き、ここで西南戦争が終わったという説明があったのを記憶しています。洞窟も見ました。
薩摩言葉は、当時もあんな感じでしたね。懐かしく思い起こされます。
司馬遼太郎先生の「翔ぶが如く」もお薦めです。
クレジットカード更新
最も使うクレジットカードの期限が更新されるので、それにまつわる手続きをしていました。自動引き落としがかなりあるので、時間を取られました。
ほぼ終了しましたが、何点か思うところがありました。
１）東京電力と東京ガス。ともに、「お客さま番号」というのが必要なのですが、東京ガスは、ウェブで住所を入れれば必要な情報が取れます。結局のところ、ウェブで手続きが簡単に終了。東京電力はというと、検針票が届かなければ手続きができないです。それで、いつ検針票が届くのかを調べてみたのですが、よくわかりませんでした。
２）「期限が切れます」と通知が来たのが、日本の通信会社と海外の決済会社です。前者は郵便で来て、それを送り返しました。手続きに一カ月程度かかるとのこと。したがって一度くらいは自前での振り込みになりそうです。後者はというと、メールで案内が来て、既存クレジット情報の期限だけを変えれば完了。きわめて簡単でした。
---------------------------------------------
基本的には、クレジットカードは自動更新されることが多いので、そのまま何もしなくても使えて欲しいのですが、なにかそうしてはいけない事情があるのでしょうか。よくわかりませんでした。
ほぼ終了しましたが、何点か思うところがありました。
１）東京電力と東京ガス。ともに、「お客さま番号」というのが必要なのですが、東京ガスは、ウェブで住所を入れれば必要な情報が取れます。結局のところ、ウェブで手続きが簡単に終了。東京電力はというと、検針票が届かなければ手続きができないです。それで、いつ検針票が届くのかを調べてみたのですが、よくわかりませんでした。
２）「期限が切れます」と通知が来たのが、日本の通信会社と海外の決済会社です。前者は郵便で来て、それを送り返しました。手続きに一カ月程度かかるとのこと。したがって一度くらいは自前での振り込みになりそうです。後者はというと、メールで案内が来て、既存クレジット情報の期限だけを変えれば完了。きわめて簡単でした。
---------------------------------------------
基本的には、クレジットカードは自動更新されることが多いので、そのまま何もしなくても使えて欲しいのですが、なにかそうしてはいけない事情があるのでしょうか。よくわかりませんでした。
最小二乗法
行列による、最小二乗法の解法について、記しておきます。
E = |y - Ax|2 = (y - Ax, y - Ax) --- (1)
とします。式(1)を計算すると、
E = yTy - yTAx - (Ax)Ty + (Ax)TAx
= yTy - (yTAx)T - xTATy + xTATAx
= yTy - xTATy - xTATy + xTATAx
= yTy - 2xTATy + xTATAx --- (2)
スカラの転置は変化しないという、'transpose trick'を使いました。
dE/dx = -2ATy + 2ATAx = 0 --- (3)
と計算し、式(3)をxについて解くと、
x = (ATA)-1ATy --- (4)
と計算できました。
E = |y - Ax|2 = (y - Ax, y - Ax) --- (1)
とします。式(1)を計算すると、
E = yTy - yTAx - (Ax)Ty + (Ax)TAx
= yTy - (yTAx)T - xTATy + xTATAx
= yTy - xTATy - xTATy + xTATAx
= yTy - 2xTATy + xTATAx --- (2)
スカラの転置は変化しないという、'transpose trick'を使いました。
dE/dx = -2ATy + 2ATAx = 0 --- (3)
と計算し、式(3)をxについて解くと、
x = (ATA)-1ATy --- (4)
と計算できました。
Backpropagation
Backpropagation、最近ある方に説明する機会がありましたので、見直していました。
合成関数の微分がわかれば、基本的にはわかるのですが、やはりややこしいです（添え字がたくさん出てくる）。以下、私なりの注意点です。
１．出力層のエラーだけは、個別に考えます。これは適切なエラー関数を考えてやると、（出力）マイナス（教師データ）、という極めて簡潔な表現となります。回帰しかり、分類しかり（2クラスでも多クラスでも）。
２．各ノードは、前半と後半に分けて考えます。この関係が、活性化関数。これの微分が入ることに注意。もっと言えば、これが「勾配消失問題」の元凶。
３．エラー関数をノード前半の値で微分した量を、PRMLではδと記していますが、この量を理解することが重要。慣れれば便利です。ノード前半での微分なので、活性化関数の微分が含まれます。
-------------------------------------------
アルゴリズムとして整理されているのは、やはりPRMLです。同書の、5.3. Error Backpropagationの情報がすべてです。または、"Deep Learning"の、Algorithm 6.4ですね。
合成関数の微分がわかれば、基本的にはわかるのですが、やはりややこしいです（添え字がたくさん出てくる）。以下、私なりの注意点です。
１．出力層のエラーだけは、個別に考えます。これは適切なエラー関数を考えてやると、（出力）マイナス（教師データ）、という極めて簡潔な表現となります。回帰しかり、分類しかり（2クラスでも多クラスでも）。
２．各ノードは、前半と後半に分けて考えます。この関係が、活性化関数。これの微分が入ることに注意。もっと言えば、これが「勾配消失問題」の元凶。
３．エラー関数をノード前半の値で微分した量を、PRMLではδと記していますが、この量を理解することが重要。慣れれば便利です。ノード前半での微分なので、活性化関数の微分が含まれます。
-------------------------------------------
アルゴリズムとして整理されているのは、やはりPRMLです。同書の、5.3. Error Backpropagationの情報がすべてです。または、"Deep Learning"の、Algorithm 6.4ですね。
I am a lifelong learner. (2)
FBのbio記述がまだだったので、何か書こうかな～と思っていたら、以下の言葉を思い出しました。
I am a lifelong learner.
これは、オーストラリア女性Jさんから教えてもらった言葉です。経緯はこちら。
http://kanouy.blog9.fc2.com/blog-entry-2019.html
かっこいいし、シンプルなので、気に入ってます。
これは教えてもらった言葉なので、勝手に使うのは気が引けると、Jさんに連絡しました。結果として、JさんとはFBフレンドになりました。
I am a lifelong learner.
これは、オーストラリア女性Jさんから教えてもらった言葉です。経緯はこちら。
http://kanouy.blog9.fc2.com/blog-entry-2019.html
かっこいいし、シンプルなので、気に入ってます。
これは教えてもらった言葉なので、勝手に使うのは気が引けると、Jさんに連絡しました。結果として、JさんとはFBフレンドになりました。
二項分布 (5)
二項分布 Bin(n, p)の分散は、np(1-p)です。
正攻法でやってみようと、以下の式を自力で計算してみました。
Σ(r-np)2nCrpr(1-p)n-r --- (1)
これはかなり大変でした。一時間くらいかかりました。平均の導出で使ったテクを駆使します。詳細はおいといて、最後に3つの項が出てきます。すなわち、
σ2 = np2(n-1) + np - n2p2 --- (2)
式(2)を整理すると、
σ2 = np(1-p) --- (3)
が得られます。つかれました。
正攻法でやってみようと、以下の式を自力で計算してみました。
Σ(r-np)2nCrpr(1-p)n-r --- (1)
これはかなり大変でした。一時間くらいかかりました。平均の導出で使ったテクを駆使します。詳細はおいといて、最後に3つの項が出てきます。すなわち、
σ2 = np2(n-1) + np - n2p2 --- (2)
式(2)を整理すると、
σ2 = np(1-p) --- (3)
が得られます。つかれました。
Cholesky分解
Cholesky分解、有名ではありますが、いままであまり意識していませんでした。
"Deep Learning"本、20.10.2 Differentiable Generator Netsにて、Cholesky分解の使い方が出ていました。正規化された正規分布からのサンプリングzに対して、これを平均μ、共分散行列Σの正規分布からのサンプリングxに変換したい場合、ΣのCholesky分解をLとすると、
x = μ + Lz --- (1)
で計算できます。これは一変数の場合の多変数拡張です。Lは標準偏差に対応するというわけです。いまさらですが、なるほど。
"Deep Learning"本、20.10.2 Differentiable Generator Netsにて、Cholesky分解の使い方が出ていました。正規化された正規分布からのサンプリングzに対して、これを平均μ、共分散行列Σの正規分布からのサンプリングxに変換したい場合、ΣのCholesky分解をLとすると、
x = μ + Lz --- (1)
で計算できます。これは一変数の場合の多変数拡張です。Lは標準偏差に対応するというわけです。いまさらですが、なるほど。
スピリタス
先日、某C社某M氏と、品川で飲んでいました。
私があることをお願いしたのがきっかけですが、そのかわりに、お酒をいただきました。私が頼んだので、私が何かをもらう理由はないのですが（逆はある）、ありがたくいただきました。
これは梅酒です。二本いただきましたが、一本は、スピリタスというお酒で漬けています。スピリタスというのを私は知らなかったのですが、これは、世界で最もアルコール度数が高いものだそうです。ポーランド産で、96度あります。
後日、チェコで研究していた数学者S氏と同じお店で飲んでいたのですが、その話をすると、S氏はスピリタスをご存知でした。さすが旧東欧仲間です。
私があることをお願いしたのがきっかけですが、そのかわりに、お酒をいただきました。私が頼んだので、私が何かをもらう理由はないのですが（逆はある）、ありがたくいただきました。
これは梅酒です。二本いただきましたが、一本は、スピリタスというお酒で漬けています。スピリタスというのを私は知らなかったのですが、これは、世界で最もアルコール度数が高いものだそうです。ポーランド産で、96度あります。
後日、チェコで研究していた数学者S氏と同じお店で飲んでいたのですが、その話をすると、S氏はスピリタスをご存知でした。さすが旧東欧仲間です。
SIGGRAPH[ASIA]2018
SIGGRAPH ASIA 2018、期間は2018年12月4日～7日。東京国際フォーラムにて、すでに始まっています。
私はというと、今回は諸事情でパスしました。ほとんど行けそうになかったことによります。残念です！
知人が多数参加していますので、後日内容を聞きます。SIGGRAPHメンバなので、論文等は手に入ります。
私はというと、今回は諸事情でパスしました。ほとんど行けそうになかったことによります。残念です！
知人が多数参加していますので、後日内容を聞きます。SIGGRAPHメンバなので、論文等は手に入ります。
Project Plan 365 (2)
"Project Plan 365"、購入いたしました。日本円で15,200円（129.99USD）。
操作感は、MS projectとほぼ同じ。というか、実際に同じものではないかと疑います（開発元が同じ？）。
操作感は、MS projectとほぼ同じ。というか、実際に同じものではないかと疑います（開発元が同じ？）。
第35回TAMAハーフマラソンat FUTAKOBASHI顛末記
第35回TAMAマラソンat Futakobashiを走りました。2018年12月1日、ハーフです。
前回のリベンジです。その顛末はこちらです。
http://kanouy.blog9.fc2.com/blog-entry-2134.html
当日は快晴。天気のよいのは好きですが、少し暑いかも。
16キロ付近までは2時間を切るペースで進みましたが、あと5キロでダレました。前回のような故障はなかったのですが、単にバテたということです。最近走る距離が少ないので、当然の結果です。
記録は、2時間7分。悪いですが、少なくとも前回の大ワーストは塗り替えました。これが目的での参加。
前回のリベンジです。その顛末はこちらです。
http://kanouy.blog9.fc2.com/blog-entry-2134.html
当日は快晴。天気のよいのは好きですが、少し暑いかも。
16キロ付近までは2時間を切るペースで進みましたが、あと5キロでダレました。前回のような故障はなかったのですが、単にバテたということです。最近走る距離が少ないので、当然の結果です。
記録は、2時間7分。悪いですが、少なくとも前回の大ワーストは塗り替えました。これが目的での参加。
ノートPCにビールを献上 (2)
ビールを献上してしまった、最近中古で買ったノートPC、一週間以上経ちましたが、何事もなかったかのように動いています。
キーボードを外して、内部を掃除しようかな、などとも思ったのですが、寝ている子は起こすな、ということですかね...
キーボードを外して、内部を掃除しようかな、などとも思ったのですが、寝ている子は起こすな、ということですかね...
Idea Makers (2)
Stephen Wolfram（Mathematica開発者）による、"Idea Makers"、暫し積読状態でしたが、またパラパラと読み始めました。
いま、ゲーデルの不完全性定理を勉強していますが、ゲーデルの評伝もあります。最後に、以下の記述があります。
And so it is that from Gödel's abstruse theorem about mathematics has emerged what I believe will be the defining theme of science and technology in the twenty-first century.
やはり勉強しないと...宿題をやらなければ！
いま、ゲーデルの不完全性定理を勉強していますが、ゲーデルの評伝もあります。最後に、以下の記述があります。
And so it is that from Gödel's abstruse theorem about mathematics has emerged what I believe will be the defining theme of science and technology in the twenty-first century.
やはり勉強しないと...宿題をやらなければ！
Deep Learning (27)
Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.
第20章（最終章）の"Deep Generative Models"、20.4.4、Layer-Wise Pretraining、の解読をいたしました。
これはHintonらが、deep neural networkがうまく初期化できることを示したもので、ここからDNNの快進撃が始まったという歴史的なアルゴリズムです。これが、
Algorithm 20.1 The variational stochastic maximum likelihood algorithm for training a DBM with two hidden layers.
として、詳しく紹介されています。ここは難解で、解読するのに一日を費やしました。構造的には、
Algorithm 18.3 The stochastic maximum likelihood / persistent contrastive divergence algorithm using gradient ascent as the optimization procedure.
と同じですが、これにvariationalとNNの学習が追加されているというものです。
Algorithm 20.1の後には、アルゴリズムの紹介はないので、これがわかれば、本書は卒業ということでしょう。
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.
第20章（最終章）の"Deep Generative Models"、20.4.4、Layer-Wise Pretraining、の解読をいたしました。
これはHintonらが、deep neural networkがうまく初期化できることを示したもので、ここからDNNの快進撃が始まったという歴史的なアルゴリズムです。これが、
Algorithm 20.1 The variational stochastic maximum likelihood algorithm for training a DBM with two hidden layers.
として、詳しく紹介されています。ここは難解で、解読するのに一日を費やしました。構造的には、
Algorithm 18.3 The stochastic maximum likelihood / persistent contrastive divergence algorithm using gradient ascent as the optimization procedure.
と同じですが、これにvariationalとNNの学習が追加されているというものです。
Algorithm 20.1の後には、アルゴリズムの紹介はないので、これがわかれば、本書は卒業ということでしょう。
第8回神戸六甲縦走トレイルラン2019
恐怖の、「神戸六甲縦走トレイルラン」の案内が、メールで来ました！昨年の顛末記はこちらです。
http://kanouy.blog9.fc2.com/blog-entry-1998.html
普通のフルマラソンであれば、翌日にはダメージはほとんど残らないのですが（少なくとも普通に歩ける）、このときは、一週間くらいダメージを引きずりました。
なので、おそらくですが、申し込みはいたしません。気がおかしくならない限り...
http://kanouy.blog9.fc2.com/blog-entry-1998.html
普通のフルマラソンであれば、翌日にはダメージはほとんど残らないのですが（少なくとも普通に歩ける）、このときは、一週間くらいダメージを引きずりました。
なので、おそらくですが、申し込みはいたしません。気がおかしくならない限り...
