fc2ブログ

cross-entropyの謎 (7)

cross-entropyの計算、いろいろと習得できたのですが、いまだはっきりとわからないのが、最尤推定からcross-entropyを導くところです。

PRMLでは、ややこしい式から、cross-entropyを導きます。4.3. Probabilistic Discriminative Models のところです。岡谷先生の「深層学習」でも、同じ道筋を踏襲。

一方、DL本では、5.5 Maximum Likelihood Estimation において、まったく異なる(と思われる)道筋が示されます。これは面白い議論ですが、この両者が同じことを言っているのかどうか、よくわからない。

もう少し考えますが、簡単な道筋のほうがいいですね。
スポンサーサイト



コメントの投稿

非公開コメント

プロフィール

加納裕(かのうゆたか)

Author:加納裕(かのうゆたか)


[略歴]
1983年3月東京工業大学工学部機械物理工学科卒業
1983年4月(株)図研入社
1987年1月同社退社
1987年2月(株)ソリッドレイ研究所を6名で設立、取締役
1994年3月同社退社
1994年4月(株)スリーディー入社
1996年10月同社取締役
1999年12月上海大学兼務教授
2002年10月同社代表取締役
2009年9月ものつくり大学非常勤講師~2020年10月
2009年10月同社代表退任/退社
2010年1月ソフトキューブ(株)入社
2012年7月数学教室「和(なごみ)」講師~現在
2017年4月湘南工科大学非常勤講師~現在
2018年9月同社退社
2018年10月同社技術顧問
2023年4月同社契約終了
2023年4月(株)RealImageを4名で設立、取締役~現在


[業界団体・学会活動]
電気学会・エモーショナルディスプレイ協同研究委員会(委員)/日本バーチャルリアリティ学会ハプティクス研究委員会(委員)/ACM(Professional Member)/情報処理学会(正会員)

---------------------

以前の職:最先端表現技術利用推進協会・アカデミック部会(旧:三次元映像のフォーラム)(副部会長)/立体映像産業推進協議会(幹事)/日本バーチャルリアリティ学会・論文委員会(委員)/3DBiz研究会(個人賛助会員)/3Dコンソーシアム(賛助会員)/URCF(特別会員)


[資格]
TOEIC805点
数学検定1級(数理技能)
中型・普自二免許
サッカー4級審判員

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QRコード