FC2ブログ

Deep Learning (23)

Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.

ついにパートⅢに入りました。

13章~15章のつながりは、いまいちよくわからないのですが、16章~19章は、最終章20章の準備です。20章はなにかというと、泣く子も黙る、Deep Generative Modelsです。

準備は万端?です。気合いだけは...
スポンサーサイト

Probabilistic PCA

"Deep Learning (2016)"の第13章に、Probabilistic PCAが紹介されています。

第13章は、Linear Factor Modelsというタイトルで、パートⅢの最初になぜこれが出てくるのかよくわからないのですが、それはともかく、Linear Factor Modelsの例として、Probabilistic PCAが紹介されているということです。

Probabilistic PCAは、PRML第12章で最初にみました。これを読んだときは、なにが書かれてあるのかよくわかりませんでした。雰囲気はなんとなく掴めたけれど...

上記のDeep Learning本では、さわりだけしか書いてないのですが、同書は本質をつく説明をします。すなわち、latent variableを用いて、条件付き独立(conditionally independent)を仮定してやるわけです。PCAというのは、独立となるような成分を抽出するわけですから(正しくは相関がない、ということですが)、観測されるデータの共分散行列は、対角行列としてモデル化できるわけです。なので、latent variableを周辺化してやると、主成分が得られるという仕組みです。

第23回日本バーチャルリアリティ学会大会

今年の、日本VR学会大会は、東北大学・青葉山新キャンパスで開催されます。会期は2018年9月19~21日の三日間です。

今回、うっかりして、事前申し込みを忘れてしまいました。だって、締切が早いんです。なんと、7月27日。

というわけで、当日申し込みます。ちょっと価格が高くなるみたいです。

プログラマ関連読み物

終活実践中なので、書籍も都度整理しています。自宅の本棚はひとつだけにして、これに入り切れなくなると、売ったり、捨てたり、差し上げたり、他の場所に移動したりします。新書はたまに購入するので、必然的に追いやられる本が出てくる。

今回は、プログラマ関連の読み物を移動しました。この関連はかなり処分したのですが、厳選の結果、以下のものが残っていました。今回は、これを他所(自宅外)に移動。

1)実録!天才プログラマー (マイクロソフトプレスシリーズ) 単行本 – 1987/2
2)ビル・ゲイツ―巨大ソフトウェア帝国を築いた男 単行本 – 1992/12
3)闘うプログラマー 単行本 – 1994/12/7

1)2)は絶版です。3)は新装版が2009年に出ているようです。

イニエスタ (2)

先日(2018年7月22日)、Jリーグの神戸-湘南戦で、イニエスタをテレビで観たという話をしましたが、

http://kanouy.blog9.fc2.com/blog-entry-2087.html

今回(2018年8月19日)、ナマで、同じ試合を観戦する機会がありました。平塚競技場は超満員。これまでの最高記録かも?

結果は、イニエスタとポドルスキがそれぞれ絡んで、2-0で勝ちました。どっちがホームなのか、わかりませんでした。

Introduction to Algorithms (10)

"Introduction to Algorithms 3rd edition (2009)"、第6章はHeapsortです。

Heapsortには思い出があります。社会人になりたての頃、数学セミナー増刊に、データ構造とアルゴリズムに関する特集があり、そこにHeapsortが紹介されていました。こんな面白いものがあるのかと、すぐに実装し、動かしてみました。

同時に、Quicksortを知りました。同書の第7章にも紹介されていますが、当時はK&Rの"The C Programming Language"のコードを実装しました。

それで、両者の実行速度を比べてみたわけですが、HeapsortはQuicksortに勝てないんです。悔しい思いをしました。

いまやってみると、私のノートPCで、データ数100,000のとき、Quicksortは78msec、Heapsortは297msecでした。実行のたびにばらつきがありますが、QuicksortのほうがHeapsortよりも、3-4倍速いです。オーダは同じなので、比例定数の差ですね。

Introduction to Algorithms (9)

"Introduction to Algorithms 3rd edition (2009)"、9.1節は、Minimization and maximizationです。

これは何かというと、数値データの集合n個から、最小値と最大値を求めるとき、普通に実装すると比較が2n程度かかるのですが、工夫すると、(3/2)n程度で済む、ということです。関連記事はこちらです。

http://kanouy.blog9.fc2.com/blog-entry-1973.html

ホントかどうか、これを実装してみました。

しかし、前者のほうが速いです。具体的には、前者は後者の2/3程度です。おかしいな...

辻褄が合うのは、後者が半分程度になればよいのですが、実装がなにかおかしいのでしょうかね。よくわかりません。

goodreads

偶然、"goodreads"というサイトを見つけました。

これは何かというと、読んだ本の評価や感想をシェアするというものです。アマゾンの書評欄と同じようなものですが、よくできたサイトです。

私もさっそくアカウントを作って、これまでに読んだ本を入力してみました。読んでいる最中のものや、これから読みたい本も入力できます。結構楽しそう。

Facebookと連動できるようですが、これはまだ行っておりません。

任意の三角形から1/7の面積を持つ三角形の作図

Facebookにて、「任意の三角形から1/7の面積を持つ三角形の作図」、について知りました。数学者A先生のポストです。A先生もご存じなかったということです。

まず、1/7という数値に引かれました。この比率はかなり珍しいのではないでしょうか。

作図の方法自体は簡単です。まず、3つの辺をそれぞれ三等分します。そして、各辺の左端から1/3のところの点と、向かいの頂点間に線を引きます。これを3つの辺に対して行うと、真ん中に三角形ができます。その三角形の面積はというと、元の三角形の面積の1/7になる、ということです。

これを証明するには、補助線を引かなければなりません。この引きかたが難しいです。私は補助線が苦手なので、平面図形は苦手なのですが、得意なかた、ぜひチャレンジください。

なお、FBでA先生が呟かれたのは、「任意の三角形を、同じ面積を持つ7つの三角形に分割する方法」、ですが、上記ができれば、あとは簡単です(平面図形の苦手な私でも簡単)。

ミッション:インポッシブル/フォールアウト

夏休みの映画はこれしかない!ということで、「ミッション:インポッシブル/フォールアウト」を観に行きました。IMAXにて。

脚本、アクション、キャストどれもがすばらしい。堪能できます。私には筋を追うのに苦労しました。味方と敵がしょっちゅう入れ替わります。

ところで、この映画は一切3DCGを使わず、全てが実写と言われます。これは信じがたいです。でもホントなのでしょうね...

夏休み (9)

来週(2018年8月13~17日)は、当社の夏休みです。9連休です。私は、2泊3日で立山に行ってまいります。

本BLOGもそれに伴い、夏休みをいただきます。20日から再開予定です。

楕円関数

先日、ある数学の集まりで、5次方程式の解の公式を見出した、とM氏。

ご存知のとおり、ガロア理論により、5次以上の方程式には、解の公式は存在しません。ところが、M氏によると、それはある前提があっての話で、楕円関数を使ってもよければ、解の公式が作れる、とのことです。

なるほど、よくわかりませんが、私よりも断然、数学に詳しいM氏が言うのだから、そうなのでしょう。それは信じることにして、「じゃあ、楕円関数ってなんですか?」と訊いてみると、「知りません!」。これは受けました。

ところで、この画期的?な発表は、札幌で行わるようです。残念ながら当日は所用があり、この面白そうな発表を聴くことは、私には叶いそうもありません。

湘南工科大学非常勤講師 (13)

前期が終わり、今週(2018年8月6~10日)は、夏季集中講義というのをやってます。内容は微積です。

人数は4名と少ないです。前期は約50名を相手にしていたので、ほぼ個人授業です。私にとっては、こちらのほうがやりやすい。

ご冗談でしょう、ファインマンさん

文庫本はかなり処分した私ですが、どうしても処分できないのが、こちら。

ファインマン、「ご冗談でしょう、ファインマンさん」

処分できない、というか、処分すべきでない。一生楽しく読める本です。

上巻に「毛色の違った道具」というエッセイがあります。ここには、ファインマンが如何にして積分が得意になったか、という記述があります。それは、高校のときに、先生から、ウッズの「高等微積分」を勧められたからだそうです。本書には、「積分記号の中で係数を微分する方法」というくだりがあります。ファインマンはこの手法を身に付けることで、MITやプリンストンの同僚ができなかった積分をすることができた、ということでした。

しかし、「積分記号の中で係数を微分する方法」とはなんぞや?ネットには、同じような疑問を感じるひともいるようで、部分積分のことではないか、などとも書かれています。ただ、真偽は不明です。

「高等微積分」の原書は、Frederick S. Woods, "Advanced calculus"といって、1934年刊です。もちろん絶版で、古本が150ドルくらいします。さて、これは購入すべきでしょうか?

ウォーターベッド

20年以上使っているフランスベッド社ウォーターベッド、別の部屋に移動しているときに、水の入ったチューブの破損を発見いたしました。これがウォーターベッドの厄介なところです。これがはやらなかった原因のひとつ。

メーカに電話したところ、チューブはもう在庫がないとのことです。これは想定内です。かなり前から製品メンテは終わっており、チューブは在庫をさばくのみと聞いていたからです。

さて、どうしようかと、なにげにアマゾンを見ていたら、チューブの修正キットがありました!さっそくこれを購入。長らく使っていなかった防腐剤も同じく購入。

そうなると、どうしてもチューブを手にいれたくなりました。日本のアマゾンにはないので、本家のサイトを見てみました。すると、ありました!チューブらしいものが。ただ、外観は少し違います。さらに、1万円するので、いま思案中。関連情報をお待ちしております。

湘南工科大学非常勤講師 (12)

湘南工科大学の非常勤講師、本日(2018年8月3日)で前期の全16回が終了です。

数学とプログラミングの合体授業で、しかも今期から始まったので、思考錯誤しながらやってきました。毎回課題を提出したもらいましたが、それを見るのが楽しみでした。いろいろと反省点もあるので、次回の機会に修正していきます。

来週(2018年8月6~10日)は、夏季集中講義(基礎解析2)を行います。

合成関数の微分

いまさらですが、合成関数の微分についてです。

z1 = z1(y1, y2) --- (1)
z2 = z1(y1, y2) --- (2)

として、さらに、

y1 = y1(x1, x2) --- (3)
y2 = y1(x1, x2) --- (4)

であるとき、

∂z1/∂x1 = (∂z1/∂y1)(∂y1/∂x1) + (∂z1/∂y2)(∂y2/∂x1) --- (5)
∂z1/∂x2 = (∂z1/∂y1)(∂y1/∂x2) + (∂z1/∂y2)(∂y2/∂x2) --- (6)
∂z2/∂x1 = (∂z2/∂y1)(∂y1/∂x1) + (∂z2/∂y2)(∂y2/∂x1) --- (7)
∂z2/∂x2 = (∂z2/∂y1)(∂y1/∂x2) + (∂z2/∂y2)(∂y2/∂x2) --- (8)

となります。これは通常の微積本に書かれてあります。

これをニューラルネットで図示すると、入力がx1とx2、出力がz1とz2、隠れ層がy1とy2、と考えられます。各層間は全結合。

このように、合成関数の微分をニューラルネットと対応付けると、可視化されて、理解が進むのではないかと思います。

QED

ファインマンの"QED (1985)"、購入したのは2004年ですから、もう14年前になります。

QEDとはQuantum Electormagneticsの略で、日本語では「量子電磁気学」と略されます。ファインマンはこの業績で、1965年ノーベル物理学賞を受賞しました。

難しい理論ですが、本書では、数式はただのひとつも出てきていません。なぜかというと、これは一般向けのレクチャを書籍にしたものだからです。

14年前に購入したので、もう何回か読んでいるとおもいきや、実は最初の10ページくらいしか読んでいません。いつもこれを読み始めると、緊急に読まなければいけない本の割り込みが入ります。

それは言い訳ですが、また読み始めています。今回は完読できますように!
プロフィール

加納裕(かのうゆたか)

Author:加納裕(かのうゆたか)


[略歴]
1983年3月東京工業大学工学部機械物理工学科卒業
1983年4月(株)図研入社
1987年1月同社退社
1987年2月(株)ソリッドレイ研究所を6名で設立、取締役
1994年3月同社退社
1994年4月(株)スリーディー入社
1996年10月同社取締役
1999年12月上海大学兼務教授
2002年10月同社代表取締役
2009年9月ものつくり大学非常勤講師~現在
2009年10月同社代表退任/退社
2010年1月ソフトキューブ(株)入社~現在(技術顧問)
2017年4月湘南工科大学非常勤講師~現在


[業界団体・学会活動]
電気学会・第三期次世代インタラクティブディスプレイ協同研究委員会(幹事)/最先端表現技術利用推進協会・アカデミック部会(旧:三次元映像のフォーラム)(副部会長)/日本バーチャルリアリティ学会ハプティクス研究委員会(委員)/ACM・SIGGRAPH(Professional Member)/情報処理学会(正会員、CVIM会員)/3Dコンソーシアム(賛助会員)/3DBiz研究会(個人賛助会員)/URCF(特別会員)

----------------

前職:立体映像産業推進協議会(幹事)/日本バーチャルリアリティ学会・論文委員会(委員)


[資格]
TOEIC805点
数学検定1級(数理技能)
中型・普自二免許
サッカー4級審判員

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QRコード