FC2ブログ

トピックモデルによる統計的潜在意味解析 (13)

佐藤一誠先生「トピックモデルによる統計的潜在意味解析(2015)」輪読会、次回で3章を終わるのですが、4章、5章もやる予定になっています。

4.2 潜在意味空間における回帰(4.1含む)
4.3 潜在意味空間における分類
5.1 相関構造のモデリング←担当者決定
5.2 系列データのモデリング
5.3 時系列データのモデリング(最後まで)←担当者決定

おそらく、人員的に、もう一回くらいやらないといけないと思われますが、5.2は難しそうです。系列データは苦手です。思案してます。
スポンサーサイト



トピックモデルによる統計的潜在意味解析 (12)

佐藤一誠先生の、「トピックモデルによる統計的潜在意味解析(2015)」、の輪読会、第九回も担当することになりました。担当範囲は以下です。

3.7 評価方法
3.8 各種学習アルゴリズムの比較
3.9 モデル選択

場所は、コワーキングスペース秋葉原 Weeyble(ウィーブル)。
(http://weeyble.com/)
東京都千代田区神田須田町2丁目19−23(野村第3ビル4階)。

以下が輪読会のURLです。
https://weeyble-data.connpass.com/event/122196/

お時間のあるかたのご参加を、お待ちしております!

Made in Japan

「ボヘミアン・ラプソディ」を観て以来、ちょっとハードロック(死語?)を聴きたくなってきた。

私の時代の定番は、Deep Purpleです。iTuneで検索してみました。

"Live in Japan"のデラックス版として、"Made in Japan"というのを見つけました。もととも、"Live in Japan"は、国外では"Made in Japan"として発売されたのは知っていましたが、これはその拡大版ですね。

Black Nightが三つ入っています。1972年8月15-17日の3日間です。最初の2日が大阪、最後が東京です。かなりタイトなスケジュールだったわけです。というわけで、購入。

湘南工科大学非常勤講師 (17)

湘南工科大学の非常勤講師、来年度(2019年度)もやることになりました。科目名は、「基礎解析のためのプログラミング」です。

いま資料を作成中です。今年の前期に同じ科目をやったのですが、学生さんアンケートの結果、いろいろと反省点がありまして、作り直します。

今後のマラソン予定 (35)

マラソン予定のアップデートです!

1)TAMAハーフマラソンat FUTAKOBASHI(ハーフ、神奈川、2019年4月6日)←四度目、単独
2)第16回京都トレイルラン 東山コース2019(32キロ、京都、2019年4月20日)←初

1)は、2月の悪天候(雪、低気温)で順延となったやつです。
2)ですが、神戸六甲トレランの案内メールに載っていたものです。昨年の六甲40キロはキツ過ぎて、もうやりませんが、それよりも距離が短いので、懲りずにエントリしてしまいました。

東京理科大学オープンカレッジ (2)

「東京理科大学オープンカレッジ」の講師、本日(2019年2月21日)が最終です。

http://kanouy.blog9.fc2.com/blog-entry-2141.html

何かを本当に理解することの最良の方法は、それについて他者から話を聞くことではなく、自分自身が人に教えることです。

AIのための数学

ある程度、AI(というか機械学習)の技術に携わってきたところで、「AIのための数学」という資料をまとめてみました。全12回です。

ターゲットは、”Deep Learning (2016)”の6.1節に載っている、XORを実現するニューラルネットワーク(NN)の学習です。つまり、誤差逆伝播法(backpropagation、短くはbackprop)。

backpropは、30年以上前の技術ですが、なぜこれをターゲットとするのかというと、最近の生成モデル(generative models)、つまりVAE(variational autoencoders)およびGAN(generative adversarial networks)では、backpropで学習できることがウリなのです。backpropは、非常に明確に定義されたアルゴリズムです。

また、backpropを習得するにあたり、それに必要な数学のセットがちょうどよい。線型代数・微分積分・確率の三点セットが、うまくブレンドされているわけです。

資料を作るにあたり、参考にした書籍は、"Deep Learning (2016)"と、"PRML (2006)"です。ともに名著。

関西出張 (21)

本日(2019年2月19日)は、大阪に行ってまいります。

昨年2018年10月から、社内的な立場が変わりまして、それに伴い、大阪への出張が減りました。以前は1か月に1~2度行っていたのですが、いまは数か月に1度という頻度です。

行く理由としては、インターン学生さんを受け入れている豊橋技術科学大学のK先生が、当社に視察にお見えになるので、それに同席するということでございます。そのあとは、いつも通り、飲み会です。

数学同好会 (14)

先週(2019年2月14日)は、<数学同好会>でした。何回目の開催かは忘れました。関内ホール裏手の、いつものお店にて。

13名の参加でした。最近は20名程度の参加が続き、盛況だったのですが、今回は少なめです。常連の人が参加しないのですが、それによると、バレンタインデーだからということでした。

cross-entropyの謎 (7)

cross-entropyの計算、いろいろと習得できたのですが、いまだはっきりとわからないのが、最尤推定からcross-entropyを導くところです。

PRMLでは、ややこしい式から、cross-entropyを導きます。4.3. Probabilistic Discriminative Models のところです。岡谷先生の「深層学習」でも、同じ道筋を踏襲。

一方、DL本では、5.5 Maximum Likelihood Estimation において、まったく異なる(と思われる)道筋が示されます。これは面白い議論ですが、この両者が同じことを言っているのかどうか、よくわからない。

もう少し考えますが、簡単な道筋のほうがいいですね。

血液型

血液型が性格に関係があるかどうかというのは、長らく議論されています。

私見では、間違いなく、関係があると思います。

関係ないという根拠のひとつは、ノーベル医学生理学賞受賞者・利根川進氏が、以前そのように発言していた(というか、何かの本に記していた)ことによります。ただ、これは、証明されていない、ということにほかなりません。

先日、私が所属するサッカーチームのメンバの居酒屋さんに行きました。私を含め、合計5人いましたが、私以外は全員B型でした(私はA型)。

B型というのは、統計的には、20%です。4人が全員B型である確率は、

(0.2)4=0.0064

1%の有意水準でも引っかかるので、偶然ではないですね。サッカー関係者は自己中なので、明らかに血液型は性格と相関があると思われます。

第37回TAMAハーフマラソンat FUTAKOBASHI顛末記

第37回TAMAマラソンat Futakobashi(2019年2月9日)ですが、悪天候(積雪・低気温)が予想されたため、前日に中止メールをいただきました。

これは妥当な判断だと思いました。もしも強行されたのであれば、参加しましたが。

代替レースが、4月6日となりました。これも妥当。もちろん参加します。お金払ってるし。

cross-entropyの謎 (6)

softmaxにおける、cross-entropyの偏微分計算、やっとできました。場合分けが必要です。すなわち、

L = -Σktk log(yk) --- (1)
yk = exp(xk) / Σiexp(xi) --- (2)

としたときに、

∂L/∂xk = Σj(∂L/∂yj)(∂yj/∂xk) --- (3)

を計算します。

∂L/∂xk = Σj(-tj/yj)(∂yj/∂xk) --- (4)

ですが、ここで、k=jのときと、k≠jのときで結果が異なりますので、場合分けをしなければなりません。

まず、k=jのとき、式(4)は、

∂L/∂xk = (-tk/yk)(∂yk/∂xk) = (-tk/yk)(exp(xkiexp(xi)-(exp(xk))2)/(Σiexp(xi))2 = (-tk/yk)(yk-yk2) = -tk(1-yk)--- (5)

一方、k≠jのときは、

∂L/∂xk = Σj(-tj/yj)(-exp(xj)exp(xk))/(Σiexp(xi))2 = Σj(tj/yj)yjyk = ykΣjtj = yk(1-tk)--- (6)

式(6)では、最後のΣはイチとはなりません。k=jのときを省いているからです。ここで間違えました。

さて、式(5)と式(6)を足したものが答えなので、

∂L/∂xk = -tk(1-yk) + yk(1-tk) = yk - tk --- (7)

直接代入してやると、対数のおかげで場合分けは不要です。対数というのは、計算を簡単にしてくれる、魔法のツールです。

cross-entropyの謎 (5)

softmaxにおける、cross-entropyの偏微分計算、習得したのですが、

http://kanouy.blog9.fc2.com/blog-entry-2027.html

L = -Σktk log(yk) --- (1)
yk = exp(xk) / Σiexp(xi) --- (2)

ここで、式(2)を式(1)に代入せずに、

∂L/∂xk = Σj(∂L/∂yj)(∂yj/∂xk) --- (3)

としてやってみようとしました。同じことだし、このほうが簡単にできると思ったのです。

しかしながら、場合分けをする必要が出てきて、ややこしくなり、挫折しました。添え字が三つでてきて(微分したい添え字/偏微分の総和の添え字/確率の正規化の添え字)、混乱したのですが、おかしいな...相変わらず計算力はない。

cross-entropyの謎 (4)

計算の練習で、2クラス分類における、cross entropyの微分を計算してみました。

L = -t*log(y) - (1-t)*log(1-y) --- (1)

と、cross entropyを定義します。これをyで微分すると、

∂L/∂y = -t/y + (1-t)/(1-y) = (y-t)/(y(1-y)) --- (2)

ここで、

y = 1 / (1 + exp(-x)) --- (3)

ですが(シグモイド関数)、これは、以下が成り立つことが知られています(計算してもよい)。

dy/dx = y(1-y) --- (4)

式(2)と式(4)を組み合わせると、

∂L/∂x = y - t --- (5)

となり、非常に簡単な式が得られました。機械学習における、重要な結論のひとつです。

ディンプルキーの謎

連れが、鍵を落とした、と言ってきました。

幸い、某店舗での落とし物として連絡があり、事なきを得ました。結果的に不要となりましたが、一度は合鍵を作ることを検討。

当家の鍵は、ディンプルキーというやつです。これは構造が複雑なので、合鍵は作れないとされており、合鍵はメーカに直接発注する必要がありました。

しかしながら、最近の事情では、合鍵は鍵屋さんで作れることになっているようです。

ただ、慎重な私としては、合鍵を作るのであれば、やはりメーカ取り寄せがいいですね。精度の面からすれば、当然純正のほうがよいはずだということと、せいぜい数千円の違いですから、このあたりで「冒険」をする必要はありません。合鍵の精度によっては、鍵そのものが壊れるというネット記事もあり、このリスクは回避したいところです。

ただ、実際のところ、合鍵を作ったことがないので、真偽はよくわからないというのが本当のところです。ご経験済のかたからの情報をお待ちしております!

健康診断 (6)

健康診断(2019年2月1日)、終了してきました。

検査後の内科検診では、問題なし。若干胃炎の症状がみられるとのことですが、これは、刺激物(辛い物やコーヒーなど)が原因とされます。これは納得です。私はスタバユーザですし、辛い物を好みます。ただし、特に医者に行けとかそういうことはないようです。軽微なものですが、コーヒーを少し控えようと思います(紅茶にする)。

脈拍ですが、いつも遅いと言われていますが、今回は血圧測定時に確認できました。48でした。成人男性の正常範囲は60~80とされていますから、かなり遅いです。

視力も両眼が1.0でした。これは推測も使い頑張った結果です。実際はそこまでないと思います。サッカーで悩んでいるのが、遠くのボールがふたつに見えること。いまのところ、経験に頼れますから、プレーに支障はないです(自分が思っているだけかも)。

トピックモデルによる統計的潜在意味解析 (11)

本日(2019年2月4日、20時~22時)は、佐藤一誠先生著、「トピックモデルによる統計的潜在意味解析(2015)」、の輪読会です。第六回、私が担当します。担当範囲は以下です。

3.3.6 LDAの変分ベイズ法 (2)
3.3.7 LDAの変分ベイズ法 (3)
3.3.8 LDAの周辺化変分ベイズ法

場所は、コワーキングスペース秋葉原 Weeyble(ウィーブル)。
(http://weeyble.com/)
東京都千代田区神田須田町2丁目19−23(野村第3ビル4階)。

当日でもお申込みが可能です!(おそらく)
https://weeyble-data.connpass.com/event/118495/

健康診断 (5)

本日(2019年2月1日)は、年一回の健康診断の日です。いつもこの時期(2月初旬)に受けます。

2014年に入院する直前は、ひどい数値でしたが、そのあとは安定していて、前回は総合評価Aをいただきました。この歳でAというのは、なかなかないのではと思います。

さて、本日はどうでしょうか。楽しみです。
プロフィール

加納裕(かのうゆたか)

Author:加納裕(かのうゆたか)


[略歴]
1983年3月東京工業大学工学部機械物理工学科卒業
1983年4月(株)図研入社
1987年1月同社退社
1987年2月(株)ソリッドレイ研究所を6名で設立、取締役
1994年3月同社退社
1994年4月(株)スリーディー入社
1996年10月同社取締役
1999年12月上海大学兼務教授
2002年10月同社代表取締役
2009年9月ものつくり大学非常勤講師~現在
2009年10月同社代表退任/退社
2010年1月ソフトキューブ(株)入社~現在(技術顧問)
2017年4月湘南工科大学非常勤講師~現在


[業界団体・学会活動]
電気学会・第三期次世代インタラクティブディスプレイ協同研究委員会(幹事)/最先端表現技術利用推進協会・アカデミック部会(旧:三次元映像のフォーラム)(副部会長)/日本バーチャルリアリティ学会ハプティクス研究委員会(委員)/ACM(Professional Member)/情報処理学会(正会員)/3Dコンソーシアム(賛助会員)/URCF(特別会員)

---------------------

前職:立体映像産業推進協議会(幹事)/日本バーチャルリアリティ学会・論文委員会(委員)/3DBiz研究会(個人賛助会員)


[資格]
TOEIC805点
数学検定1級(数理技能)
中型・普自二免許
サッカー4級審判員

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QRコード