FC2ブログ

cross-entropyの謎 (7)

cross-entropyの計算、いろいろと習得できたのですが、いまだはっきりとわからないのが、最尤推定からcross-entropyを導くところです。

PRMLでは、ややこしい式から、cross-entropyを導きます。4.3. Probabilistic Discriminative Models のところです。岡谷先生の「深層学習」でも、同じ道筋を踏襲。

一方、DL本では、5.5 Maximum Likelihood Estimation において、まったく異なる(と思われる)道筋が示されます。これは面白い議論ですが、この両者が同じことを言っているのかどうか、よくわからない。

もう少し考えますが、簡単な道筋のほうがいいですね。
スポンサーサイト

血液型

血液型が性格に関係があるかどうかというのは、長らく議論されています。

私見では、間違いなく、関係があると思います。

関係ないという根拠のひとつは、ノーベル医学生理学賞受賞者・利根川進氏が、以前そのように発言していた(というか、何かの本に記していた)ことによります。ただ、これは、証明されていない、ということにほかなりません。

先日、私が所属するサッカーチームのメンバの居酒屋さんに行きました。私を含め、合計5人いましたが、私以外は全員B型でした(私はA型)。

B型というのは、統計的には、20%です。4人が全員B型である確率は、

(0.2)4=0.0064

1%の有意水準でも引っかかるので、偶然ではないですね。サッカー関係者は自己中なので、明らかに血液型は性格と相関があると思われます。

第37回TAMAハーフマラソンat FUTAKOBASHI顛末記

第37回TAMAマラソンat Futakobashi(2019年2月9日)ですが、悪天候(積雪・低気温)が予想されたため、前日に中止メールをいただきました。

これは妥当な判断だと思いました。もしも強行されたのであれば、参加しましたが。

代替レースが、4月6日となりました。これも妥当。もちろん参加します。お金払ってるし。

cross-entropyの謎 (6)

softmaxにおける、cross-entropyの偏微分計算、やっとできました。場合分けが必要です。すなわち、

L = -Σktk log(yk) --- (1)
yk = exp(xk) / Σiexp(xi) --- (2)

としたときに、

∂L/∂xk = Σj(∂L/∂yj)(∂yj/∂xk) --- (3)

を計算します。

∂L/∂xk = Σj(-tj/yj)(∂yj/∂xk) --- (4)

ですが、ここで、k=jのときと、k≠jのときで結果が異なりますので、場合分けをしなければなりません。

まず、k=jのとき、式(4)は、

∂L/∂xk = (-tk/yk)(∂yk/∂xk) = (-tk/yk)(exp(xkiexp(xi)-(exp(xk))2)/(Σiexp(xi))2 = (-tk/yk)(yk-yk2) = -tk(1-yk)--- (5)

一方、k≠jのときは、

∂L/∂xk = Σj(-tj/yj)(-exp(xj)exp(xk))/(Σiexp(xi))2 = Σj(tj/yj)yjyk = ykΣjtj = yk(1-tk)--- (6)

式(6)では、最後のΣはイチとはなりません。k=jのときを省いているからです。ここで間違えました。

さて、式(5)と式(6)を足したものが答えなので、

∂L/∂xk = -tk(1-yk) + yk(1-tk) = yk - tk --- (7)

直接代入してやると、対数のおかげで場合分けは不要です。対数というのは、計算を簡単にしてくれる、魔法のツールです。

cross-entropyの謎 (5)

softmaxにおける、cross-entropyの偏微分計算、習得したのですが、

http://kanouy.blog9.fc2.com/blog-entry-2027.html

L = -Σktk log(yk) --- (1)
yk = exp(xk) / Σiexp(xi) --- (2)

ここで、式(2)を式(1)に代入せずに、

∂L/∂xk = Σj(∂L/∂yj)(∂yj/∂xk) --- (3)

としてやってみようとしました。同じことだし、このほうが簡単にできると思ったのです。

しかしながら、場合分けをする必要が出てきて、ややこしくなり、挫折しました。添え字が三つでてきて(微分したい添え字/偏微分の総和の添え字/確率の正規化の添え字)、混乱したのですが、おかしいな...相変わらず計算力はない。

cross-entropyの謎 (4)

計算の練習で、2クラス分類における、cross entropyの微分を計算してみました。

L = -t*log(y) - (1-t)*log(1-y) --- (1)

と、cross entropyを定義します。これをyで微分すると、

∂L/∂y = -t/y + (1-t)/(1-y) = (y-t)/(y(1-y)) --- (2)

ここで、

y = 1 / (1 + exp(-x)) --- (3)

ですが(シグモイド関数)、これは、以下が成り立つことが知られています(計算してもよい)。

dy/dx = y(1-y) --- (4)

式(2)と式(4)を組み合わせると、

∂L/∂x = y - t --- (5)

となり、非常に簡単な式が得られました。機械学習における、重要な結論のひとつです。

ディンプルキーの謎

連れが、鍵を落とした、と言ってきました。

幸い、某店舗での落とし物として連絡があり、事なきを得ました。結果的に不要となりましたが、一度は合鍵を作ることを検討。

当家の鍵は、ディンプルキーというやつです。これは構造が複雑なので、合鍵は作れないとされており、合鍵はメーカに直接発注する必要がありました。

しかしながら、最近の事情では、合鍵は鍵屋さんで作れることになっているようです。

ただ、慎重な私としては、合鍵を作るのであれば、やはりメーカ取り寄せがいいですね。精度の面からすれば、当然純正のほうがよいはずだということと、せいぜい数千円の違いですから、このあたりで「冒険」をする必要はありません。合鍵の精度によっては、鍵そのものが壊れるというネット記事もあり、このリスクは回避したいところです。

ただ、実際のところ、合鍵を作ったことがないので、真偽はよくわからないというのが本当のところです。ご経験済のかたからの情報をお待ちしております!

健康診断 (6)

健康診断(2019年2月1日)、終了してきました。

検査後の内科検診では、問題なし。若干胃炎の症状がみられるとのことですが、これは、刺激物(辛い物やコーヒーなど)が原因とされます。これは納得です。私はスタバユーザですし、辛い物を好みます。ただし、特に医者に行けとかそういうことはないようです。軽微なものですが、コーヒーを少し控えようと思います(紅茶にする)。

脈拍ですが、いつも遅いと言われていますが、今回は血圧測定時に確認できました。48でした。成人男性の正常範囲は60~80とされていますから、かなり遅いです。

視力も両眼が1.0でした。これは推測も使い頑張った結果です。実際はそこまでないと思います。サッカーで悩んでいるのが、遠くのボールがふたつに見えること。いまのところ、経験に頼れますから、プレーに支障はないです(自分が思っているだけかも)。

トピックモデルによる統計的潜在意味解析 (11)

本日(2019年2月4日、20時~22時)は、佐藤一誠先生著、「トピックモデルによる統計的潜在意味解析(2015)」、の輪読会です。第六回、私が担当します。担当範囲は以下です。

3.3.6 LDAの変分ベイズ法 (2)
3.3.7 LDAの変分ベイズ法 (3)
3.3.8 LDAの周辺化変分ベイズ法

場所は、コワーキングスペース秋葉原 Weeyble(ウィーブル)。
(http://weeyble.com/)
東京都千代田区神田須田町2丁目19−23(野村第3ビル4階)。

当日でもお申込みが可能です!(おそらく)
https://weeyble-data.connpass.com/event/118495/

健康診断 (5)

本日(2019年2月1日)は、年一回の健康診断の日です。いつもこの時期(2月初旬)に受けます。

2014年に入院する直前は、ひどい数値でしたが、そのあとは安定していて、前回は総合評価Aをいただきました。この歳でAというのは、なかなかないのではと思います。

さて、本日はどうでしょうか。楽しみです。
プロフィール

加納裕(かのうゆたか)

Author:加納裕(かのうゆたか)


[略歴]
1983年3月東京工業大学工学部機械物理工学科卒業
1983年4月(株)図研入社
1987年1月同社退社
1987年2月(株)ソリッドレイ研究所を6名で設立、取締役
1994年3月同社退社
1994年4月(株)スリーディー入社
1996年10月同社取締役
1999年12月上海大学兼務教授
2002年10月同社代表取締役
2009年9月ものつくり大学非常勤講師~現在
2009年10月同社代表退任/退社
2010年1月ソフトキューブ(株)入社~現在(技術顧問)
2017年4月湘南工科大学非常勤講師~現在


[業界団体・学会活動]
電気学会・第三期次世代インタラクティブディスプレイ協同研究委員会(幹事)/最先端表現技術利用推進協会・アカデミック部会(旧:三次元映像のフォーラム)(副部会長)/日本バーチャルリアリティ学会ハプティクス研究委員会(委員)/ACM(Professional Member)/情報処理学会(正会員、CVIM会員)/3Dコンソーシアム(賛助会員)/3DBiz研究会(個人賛助会員)/URCF(特別会員)

----------------

前職:立体映像産業推進協議会(幹事)/日本バーチャルリアリティ学会・論文委員会(委員)


[資格]
TOEIC805点
数学検定1級(数理技能)
中型・普自二免許
サッカー4級審判員

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QRコード