FC2ブログ

Deep Learning (25)

Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.

第19章までふらふらと到着。"Approximate Inference"、です。この章は難しいです。これまでやったことが総動員されています。でも、読めないことはない。

19.4.2に変分法の説明があります。英語では"Calculus of Variations"です。情報系の方には敷居の高いところでしょう。工学では解析力学で出てくる、よく知られた理論です。

よい例としては、与えられた分散を持つ分布で、エントロピーが最大となるものはなにか、というもの。これは正規分布ですが、変分法の解法で導出されます。式(19.48)~(19.54)です。
スポンサーサイト

ゲーデルの不完全性定理 (4)

H先生による、ゲーデルの不完全性定理の特別ゼミ、第一回が2018年10月27日開催されました。新宿の某所にて。

前振りと、集合と論理の基本的なことをやったあと、カリー/ハワード対応というのをやりました。これはなにかというと、プログラミングにおける関数の記述と、論理による証明とは、かなりきれいな対応があるということです。

今後は、推測ではありますが、この対応関係を用いて、証明をプログラムで記述する、という流れになるのではないかと思います。

立命館大学レクチャ (2)

先日(2018年10月25日)、立命館大学・びわこ・くさつキャンパスにて、industrial lectures (fall 2018)をいたしました。タイトルは、project management (general consideration) です。

最初に20分程度話したあと、参加者(2年の学生さん)にプロジェクト計画の実習をしてもらいました。具体的には、ひとりひとりにゴール設定をしてもらい、それに対して、WBSとガントチャートを作って、ホワイトボードに書いてもらいました。準備は20分、そのあとひとり3分でプレゼン。

驚くべきことに、13人のみなさんはきちんとやってくれました。出身はインドネシア3名、中国1名、韓国3名、タイ2名、バングラディシュ1名、ウガンダ1名、日本2名、でした。ホワイトボードは終了後すぐに消してしまうので、スマホで写真に撮りました。

もう一回あって、11月15日です。タイトルは、Introduction to 3DCG and stereoscopy、です。

今後のマラソン予定 (34)

マラソン予定のアップデートです!

1)横浜マラソン2018(フル、神奈川、2018年10月28日)←初、連れと
2)TAMAハーフマラソンat FUTAKOBASHI(ハーフ、神奈川、2018年12月1日)←二度目、単独

1)は、昨年台風で中止になったリベンジです。今回は天気はだいじょうぶそうです。
2)は、前回大ワーストだったので、記録を塗り替えるためのリベンジ。

立命館大学レクチャ

本日(2018年10月25日)、立命館大学・びわこ・くさつキャンパスを訪問します。

理由ですが、industrial lectures (fall 2018) で話をいたします。タイトルですが、project management (general consideration) です。ヘタな英語でやります。

呼んでくれたのが、2017年4月同大に着任したIG。彼と初めて会ったのは2000年ですから、もうそれから20年近くなりました。

Visual Studio 2010 (2)

PCを新しくしたので、Visual Studioは2017の無償版を入れてみました。

私がVisual Studioを使うのは、ものつくり大学講義のときだけなので、そこで使うプロジェクトをビルドしてみました。すると、通らない...

調べてみると、いろいろと環境が変わっているようですね。2017をあえて使う必要はないので、はるか以前、正規購入した2010を入れてみました。このバージョンは、Windows 10でもメンテされています(延長サポート終了日2020年7月14日)。古いけれど、問題なし。

Importance Sampling

Importance sampling、理論がいまいちよくわからず、使ったこともありませんでした。

以前、大学の授業で、モンテカルロを使った積分を教えたことがありました。円周率を求めるようなヤツです。そのあとで、

f(x) = 1/x --- (1)

の積分をやるときに、グラフを区分で分割し、長方形で近似するやりかたを説明しました。そして、式(1)の積分、つまり、

log(x) = ∫dx/x --- (2)

を計算して、両者を比較するなどをやったわけです。

さて、ここでやっと気がつきました。これはimportance samplingが使えますね。たとえば、[1,2]の区間で積分をしてやる場合、一様分布をp(x)として、

log(x) = ∫dx/x = ∫p(x)dx/(px(x)x) = E[1/x] --- (3)

として計算できるわけです。プログラミングしてみると、確かにlog(2)に近づきます。なるほど~ちょっと面白いかも。

Leibniz's rule

"Deep Learning"本にて、Leibniz's ruleが登場します。第18章599ページ。

これはなにかというと、differentiation under the integral signです。つまり、積分後に微分する場合、ある条件の下では、微分してから積分すればよろしい。条件については、測度論が出てくるので、ここは私のout of scopeです。

これは、本blogでファインマンの記事を書いたときに、コメントいただいたものです。Keith Conradの"Differentiating under the integral sign"という論文がネットで取れますが、ここに詳しく書かれてあります。

モンティ・ホール問題 (2)

湘南工科大学での確率・統計の授業で、「モンティ・ホール問題」を紹介しようと思います。

前回、ベイズの定理をやったので、関連する興味ある話題、ということで、この問題を解くのにベイズを応用しようと思ったわけです。

しかしながら、これへのベイズの適用は、なかなか面倒くさいですね。問題が理解できれば、解は自明なので、どうしようかな...楽しい話なので、紹介はしようと思いますが、落としどころは思案中...

東京理科大学大オープンカレッジ

頼まれまして、「東京理科大学オープンカレッジ」の講師を務めます。テーマは、「日本未発売の良書から解くプロジェクトマネジメント」。副題は「エンジニアに学ぶプロジェクトマネジメント」です。そう、私はエンジニア(のはず)。

この、「日本未発売の良書」というのは、以下です。

Fergus O'Connell, How to Run Successful Projects III: The Silver Bullet (3rd Edition) Paperback – January 15, 2002

本ブログにも再三登場しています。良書には間違いない。

問題は、「日本未発売」というところです。この題は、本講座を企画されたNさんによるものですが、発売はされています。アマゾンで買えますから。正確には、翻訳がない、ということです。でも、どこかにあったらどうしよう...無いということの証明はできない。

第一回は本日(2018年10月18日)です。第五回まで。

positive phase vs negative phase

昨日の続きです。以下の式におきまして、

θlog p(x;θ) = ∇θlog p'(x;θ) - Ex~p(x)θlog p'(x) --- (1)

右辺第一項は"positive phase"、第二項は"negative phase"と呼ばれます。

左辺は、対数尤度のパラメタに関する微分ですから、これがゼロになったときが、最尤法におけるパラメタの最適値です。では、いつゼロになるかというと、右辺のふたつの項が釣り合ったときですね。

右辺第一項の意味ですが、これは訓練データから得られるxを使います。対して、第二項では、MCMCにより得られるxを使います(なぜか?モデル分布からのサンプルが必要なので)。なので式(1)というのは、モデルをデータに当てはめてやる過程を表現していると言えます。

"Deep Learning"本では、ここでneuroscienceの研究が紹介されます。すなわち、第一項は、ヒトが現実で経験することを表します。対して、第二項は、ヒトが寝ているとき、特にREM睡眠の状態を表します。つまりヒトというのは、現実を解釈するときには、寝ているときに、脳の持つモデルを現実に当てはめる処理をしているのではないか、ということです。

ホントかな?これはまだ、証明されていないということですが、面白い解釈をするひとがいるものです。

Deep Learning (24)

Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.

なんとか第18章まで来ました。"Confronting the Partition Function"、つまり「分配関数」の攻略です。

最初に、以下の式が登場します。同書では、式(18.4)です。

θlog p(x;θ) = ∇θlog p'(x;θ) - ∇θlog Z(θ) --- (1)

要するに、確率密度を正規化したものの対数をとり、それをパラメタで微分したものです。Z(θ)が悪名高き、「分配関数」。

式(1)の第二項は、以下のように書けることが示されます。同書では、式(18.5)です。

θlog Z(θ) = Ex~p(x)θlog p'(x) --- (2)

このふたつの式の解釈がいろいろと書かれているわけですか、これがかなり面白いです。最初はまるでわからなかったのですが、何度も読み直すうちに、わかりました。楽しいところです。

湘南工科大学非常勤講師 (15)

湘南工科大学の非常勤講師、後期の授業のひとつに、「確率・統計」があります。

この授業ですが、「アカデミックパス制度」を利用されている方が複数受講されています。私よりもおそらく、人生の先輩だと思われます。

なので、導入としては、できる限り日常お目にかかるような事例から入ろうとしています。たとえば、シラバスではまだ先に登場するであろう、「ベイズの定理」を先んじてやるなど、です。

リュックは前で背負う

私は出歩くときは、リュックを携帯します。MANHATTAN PASSAGEのもので、優れモノ。同じ型を持っているひとが何人かいらっしゃるのが気になりますが。

私は電車に乗ることが多いので、そのときは後ろではなく前に背負います。これはもう普通のマナーとなっている。

あるとき考えました。前に背負うのを、電車の中以外でもやればよいのではないかと。

なぜならば、リュックの中身を取り出すとき、いちいちリュックを外さないといけないわけです。これはかなり面倒くさい。また、電車で座るときも、同じです。スリにも逢いませんよね。逢ったことはないけれど。

圏論 (2)

結局のところ、"Basic Category Theory"、1-clickしてしまいました。

H先生によると、日本語にしてしまうと、わかりづらい表現があるとのこと。これは原書を買ったほうがよいという意味と理解しました。H先生は否定していましたけど。でも、これがなくても、私は訳書は買わない。

圏論

「圏論」という数学の分野がいま注目されています。英語では"category theory"と呼ばれます。

先日(2018年10月8日)、某所にて、この分野の権威、H先生よりレクチャがありました。教科書は「ベーシック圏論」です。

私は参加したものの、よくわからないので、BGM(Back Ground Math)として聞いていました。ただ、参加者は精鋭なので、関わったほうがよいですね。もったいない。

問題は教科書です。訳書に頼りたくない私は、やはり原書?原書は"Basic Category Theory"です。アマゾンの書評を見ると、良書との評判です。

第34回TAMAハーフマラソンat FUTAKOBASHI顛末記

第34回TAMAマラソンat Futakobashiを走りました。2018年10月6日、ハーフです。

台風が来ていたので、天気が気になりましたが、雨予想が曇り予想となり、当日は快晴。気温は30度くらいありそう。イヤな雰囲気...

15キロまでは1時間半で通過しました。さて、ここからです。残り6キロで70分かかりました。これはどういうことかというと、17キロ付近で太ももがつってしまい、脇で座って休んだのですが、これが敗因。両足がまるで動かなくなりました。

その後は歩いたり止まったりを繰り返し、ゴール付近でやっと回復、いちおう走って終わりました。記録はこれまでのハーフでは圧倒的ワーストの、2時間41分。制限時間は3時間なので救われました(通常の大会は2時間半です)。

この大会は月例なので、さっそく12月にリベンジの申し込みをしました。11月は休みのようです。

SSD

ノートPC、新しく買いました。新品を買う必要性がないため(新品でもすぐに壊れるのは経験済)、中古です。

SSD(solid-state drive)なのですが、容量が128GBなので、ちょっと悩みました。前機は1Tあったので、少ないかな~と思ったのです。でも、購入!

これは正解でした。まず、速いです。立ち上がりが数秒。アプリ起動も速い。使い始めて数日ですが、もう手放せません。前機はこれでほぼ使わないでしょう。

結局のところ、ディスク容量というのは、たくさんあってもゴミだめになりますね。少ないほうがよい。断捨離します。

確率・統計

私は工学の出身ですから、最低限の確率・統計の知識は持っていたつもりですが、もう少し勉強しようと購入したのがこちらです。

確率・統計 (理工系の数学入門コース 7) 単行本 – 1989/2/8 薩摩 順吉 (著)

(上記はアマゾンからのコピペ)

購入はもう5年以上前で、何度かさらいました。なかなか癖のある本ですが、分布として、まず二項分布から入り、それの近似として、ポアソン分布および正規分布を導くところが好きです。この導出過程で、必要な数学も学ぶことができます。

出版が1989年なので、古さは感じますが、それを相殺する魅力があります。なので、同類書籍の多い中、30年も生き残っているのでしょう。

停電

2018年10月1日、自宅の藤沢周辺にて、台風の影響で停電がありました。これは早期に復旧したので、特に支障はありませんでした。

さて、その翌日(10月2日)、朝いつものとおり起きると、なにかおかしい。あ、また停電?停電だと、ほぼなにもできません。で、そそくさと出勤。電車は問題なし。駅チカのコンビニは営業停止。

停電で思い出すとすれば、2011年の東日本大震災まで遡ります。このときは「輪番停電」というのがあって、計画的に停電が起こりました。文字通り、通りは真っ暗になります。夜はかなり恐ろしいです。

台風24号

2018年9月30日から10月1日かけて、台風24号が日本を横断しました。

台風21号のときは、こちらは大したことはなかったので、タカをくくっていたのですが、今回は関東圏に深夜に到着。雨風がひどく、自宅も強風でギシギシと鳴り、かなり心配しました。停電のおまけつき。

朝はすでに晴れていましたが、当然のごとく、東海道線は不通でした。朝のニュースではJR関連の中には東海道線への言及がなかったのですが、東海道線はこのような場合デフォルトで不通だったわけです。まあ、そうだろうな。

ゲーデルの不完全性定理 (3)

ゲーデルの不完全性定理、なんどかチャレンジしましたが、討ち死にしてきました。

そうしたところに、某H先生が、このテーマで6回の特別ゼミを開催されると聞いて、これを逃すともう一生解らないと思い、申し込みました。

一か月に一回のペースです。
プロフィール

加納裕(かのうゆたか)

Author:加納裕(かのうゆたか)


[略歴]
1983年3月東京工業大学工学部機械物理工学科卒業
1983年4月(株)図研入社
1987年1月同社退社
1987年2月(株)ソリッドレイ研究所を6名で設立、取締役
1994年3月同社退社
1994年4月(株)スリーディー入社
1996年10月同社取締役
1999年12月上海大学兼務教授
2002年10月同社代表取締役
2009年9月ものつくり大学非常勤講師~現在
2009年10月同社代表退任/退社
2010年1月ソフトキューブ(株)入社~現在(技術顧問)
2017年4月湘南工科大学非常勤講師~現在


[業界団体・学会活動]
電気学会・第三期次世代インタラクティブディスプレイ協同研究委員会(幹事)/最先端表現技術利用推進協会・アカデミック部会(旧:三次元映像のフォーラム)(副部会長)/日本バーチャルリアリティ学会ハプティクス研究委員会(委員)/ACM・SIGGRAPH(Professional Member)/情報処理学会(正会員、CVIM会員)/3Dコンソーシアム(賛助会員)/3DBiz研究会(個人賛助会員)/URCF(特別会員)

----------------

前職:立体映像産業推進協議会(幹事)/日本バーチャルリアリティ学会・論文委員会(委員)


[資格]
TOEIC805点
数学検定1級(数理技能)
中型・普自二免許
サッカー4級審判員

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QRコード