FC2ブログ

クレジットカード更新

最も使うクレジットカードの期限が更新されるので、それにまつわる手続きをしていました。自動引き落としがかなりあるので、時間を取られました。

ほぼ終了しましたが、何点か思うところがありました。

1)東京電力と東京ガス。ともに、「お客さま番号」というのが必要なのですが、東京ガスは、ウェブで住所を入れれば必要な情報が取れます。結局のところ、ウェブで手続きが簡単に終了。東京電力はというと、検針票が届かなければ手続きができないです。それで、いつ検針票が届くのかを調べてみたのですが、よくわかりませんでした。

2)「期限が切れます」と通知が来たのが、日本の通信会社と海外の決済会社です。前者は郵便で来て、それを送り返しました。手続きに一カ月程度かかるとのこと。したがって一度くらいは自前での振り込みになりそうです。後者はというと、メールで案内が来て、既存クレジット情報の期限だけを変えれば完了。きわめて簡単でした。

---------------------------------------------

基本的には、クレジットカードは自動更新されることが多いので、そのまま何もしなくても使えて欲しいのですが、なにかそうしてはいけない事情があるのでしょうか。よくわかりませんでした。
スポンサーサイト

最小二乗法

行列による、最小二乗法の解法について、記しておきます。

E = |y - Ax|2 = (y - Ax, y - Ax) --- (1)

とします。式(1)を計算すると、

E = yTy - yTAx - (Ax)Ty + (Ax)TAx
= yTy - (yTAx)T - xTATy + xTATAx
= yTy - xTATy - xTATy + xTATAx
= yTy - 2xTATy + xTATAx --- (2)

スカラの転置は変化しないという、'transpose trick'を使いました。

dE/dx = -2ATy + 2ATAx = 0 --- (3)

と計算し、式(3)をxについて解くと、

x = (ATA)-1ATy --- (4)

と計算できました。

Backpropagation

Backpropagation、最近ある方に説明する機会がありましたので、見直していました。

合成関数の微分がわかれば、基本的にはわかるのですが、やはりややこしいです(添え字がたくさん出てくる)。以下、私なりの注意点です。

1.出力層のエラーだけは、個別に考えます。これは適切なエラー関数を考えてやると、(出力)マイナス(教師データ)、という極めて簡潔な表現となります。回帰しかり、分類しかり(2クラスでも多クラスでも)。

2.各ノードは、前半と後半に分けて考えます。この関係が、活性化関数。これの微分が入ることに注意。もっと言えば、これが「勾配消失問題」の元凶。

3.エラー関数をノード前半の値で微分した量を、PRMLではδと記していますが、この量を理解することが重要。慣れれば便利です。ノード前半での微分なので、活性化関数の微分が含まれます。

-------------------------------------------

アルゴリズムとして整理されているのは、やはりPRMLです。同書の、5.3. Error Backpropagationの情報がすべてです。または、"Deep Learning"の、Algorithm 6.4ですね。

I am a lifelong learner. (2)

FBのbio記述がまだだったので、何か書こうかな~と思っていたら、以下の言葉を思い出しました。

I am a lifelong learner.

これは、オーストラリア女性Jさんから教えてもらった言葉です。経緯はこちら。

http://kanouy.blog9.fc2.com/blog-entry-2019.html

かっこいいし、シンプルなので、気に入ってます。

これは教えてもらった言葉なので、勝手に使うのは気が引けると、Jさんに連絡しました。結果として、JさんとはFBフレンドになりました。

二項分布 (5)

二項分布 Bin(n, p)の分散は、np(1-p)です。

正攻法でやってみようと、以下の式を自力で計算してみました。

Σ(r-np)2nCrpr(1-p)n-r --- (1)

これはかなり大変でした。一時間くらいかかりました。平均の導出で使ったテクを駆使します。詳細はおいといて、最後に3つの項が出てきます。すなわち、

σ2 = np2(n-1) + np - n2p2 --- (2)

式(2)を整理すると、

σ2 = np(1-p) --- (3)

が得られます。つかれました。

Cholesky分解

Cholesky分解、有名ではありますが、いままであまり意識していませんでした。

"Deep Learning"本、20.10.2 Differentiable Generator Netsにて、Cholesky分解の使い方が出ていました。正規化された正規分布からのサンプリングzに対して、これを平均μ、共分散行列Σの正規分布からのサンプリングxに変換したい場合、ΣのCholesky分解をLとすると、

x = μ + Lz --- (1)

で計算できます。これは一変数の場合の多変数拡張です。Lは標準偏差に対応するというわけです。いまさらですが、なるほど。

スピリタス

先日、某C社某M氏と、品川で飲んでいました。

私があることをお願いしたのがきっかけですが、そのかわりに、お酒をいただきました。私が頼んだので、私が何かをもらう理由はないのですが(逆はある)、ありがたくいただきました。

これは梅酒です。二本いただきましたが、一本は、スピリタスというお酒で漬けています。スピリタスというのを私は知らなかったのですが、これは、世界で最もアルコール度数が高いものだそうです。ポーランド産で、96度あります。

後日、チェコで研究していた数学者S氏と同じお店で飲んでいたのですが、その話をすると、S氏はスピリタスをご存知でした。さすが旧東欧仲間です。

SIGGRAPH[ASIA]2018

SIGGRAPH ASIA 2018、期間は2018年12月4日~7日。東京国際フォーラムにて、すでに始まっています。

私はというと、今回は諸事情でパスしました。ほとんど行けそうになかったことによります。残念です!

知人が多数参加していますので、後日内容を聞きます。SIGGRAPHメンバなので、論文等は手に入ります。

Project Plan 365 (2)

"Project Plan 365"、購入いたしました。日本円で15,200円(129.99USD)。

操作感は、MS projectとほぼ同じ。というか、実際に同じものではないかと疑います(開発元が同じ?)。

第35回TAMAハーフマラソンat FUTAKOBASHI顛末記

第35回TAMAマラソンat Futakobashiを走りました。2018年12月1日、ハーフです。

前回のリベンジです。その顛末はこちらです。

http://kanouy.blog9.fc2.com/blog-entry-2134.html

当日は快晴。天気のよいのは好きですが、少し暑いかも。

16キロ付近までは2時間を切るペースで進みましたが、あと5キロでダレました。前回のような故障はなかったのですが、単にバテたということです。最近走る距離が少ないので、当然の結果です。

記録は、2時間7分。悪いですが、少なくとも前回の大ワーストは塗り替えました。これが目的での参加。

ノートPCにビールを献上 (2)

ビールを献上してしまった、最近中古で買ったノートPC、一週間以上経ちましたが、何事もなかったかのように動いています。

キーボードを外して、内部を掃除しようかな、などとも思ったのですが、寝ている子は起こすな、ということですかね...

Idea Makers (2)

Stephen Wolfram(Mathematica開発者)による、"Idea Makers"、暫し積読状態でしたが、またパラパラと読み始めました。

いま、ゲーデルの不完全性定理を勉強していますが、ゲーデルの評伝もあります。最後に、以下の記述があります。

And so it is that from Gödel's abstruse theorem about mathematics has emerged what I believe will be the defining theme of science and technology in the twenty-first century.

やはり勉強しないと...宿題をやらなければ!

Deep Learning (27)

Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.

第20章(最終章)の"Deep Generative Models"、20.4.4、Layer-Wise Pretraining、の解読をいたしました。

これはHintonらが、deep neural networkがうまく初期化できることを示したもので、ここからDNNの快進撃が始まったという歴史的なアルゴリズムです。これが、

Algorithm 20.1 The variational stochastic maximum likelihood algorithm for training a DBM with two hidden layers.

として、詳しく紹介されています。ここは難解で、解読するのに一日を費やしました。構造的には、

Algorithm 18.3 The stochastic maximum likelihood / persistent contrastive divergence algorithm using gradient ascent as the optimization procedure.

と同じですが、これにvariationalとNNの学習が追加されているというものです。

Algorithm 20.1の後には、アルゴリズムの紹介はないので、これがわかれば、本書は卒業ということでしょう。

第8回神戸六甲縦走トレイルラン2019

恐怖の、「神戸六甲縦走トレイルラン」の案内が、メールで来ました!昨年の顛末記はこちらです。

http://kanouy.blog9.fc2.com/blog-entry-1998.html

普通のフルマラソンであれば、翌日にはダメージはほとんど残らないのですが(少なくとも普通に歩ける)、このときは、一週間くらいダメージを引きずりました。

なので、おそらくですが、申し込みはいたしません。気がおかしくならない限り...

ノートPCにビールを献上

先日、行きつけのバーにて、知人ふたりに、パソコンでプレゼンをしていました。

ビールを脇に置いていたと思ったら、たまたま手前に置いてしまったようで、ついつい手をかけて、キーボードにビールをぶちまけました。とっさに多少は回避したので、それほどの量ではなかった。

即座にキーボード部分を裏表にして、重力の法則で液体を外部に出しました。暫し放置。

そのあとは、何事もなく動いていました。一度再起動をしたところ、ディスクチェックがはいりましたが(SSD)、きちんと立ち上がりました。

その後は特に問題なく使えてます。ネットで調べると、このような事例はかなり多いらしく、ヤバくなった事例もたくさんありますね。私はラッキーだったということです。

ベクトル値関数の最適化 (7)

ベクトル値関数の最適化における、一次方程式系、

JTJh + JTf = 0 --- (1)

ですが、よくよく見ると(見なくても)、Jが横長のときは、JTJはランク落ちで、逆行列を持ちません。

気になって、以下の本、すなわち、最適化本の定番を読んでみましたが、

Nocedal, Wright, "Numerical Optimization", 2006.
Fletcher, "Practical Methods of Optimization",2000.

双方ともに、Jが横長のときの扱いには触れていません。でも、応用では、横長のときがでてくる。おかしいな...いまの疑問はこれです。勉強しよ!

Project Plan 365

いま、某所で「プロジェクト管理」を教えているのですが、肝心のツールが手元にない状態です。プロジェクト管理にツールは必須と言っておきながら、これではいけない。

そこで、MS Projectの購入を検討しました。でも、これは価格が高いんです。どうしようかな...

Microsoftのサイトに入って、関連ツールを調べてみると、"Project Plan 365"というのを発見いたしました。仕様は、MS Projectにそっくりです。もしや、Microsoftのものは、ここからのOEM?などと疑います(事実は不明)。開発元は、Housatonic Softwareという会社です。初めて聞きました。

無料で使えるとのことで、試しました。ほぼMS Projectの操作方法と同じです。やはりツールは必須であることを再認識。

30日のトライアルがあり、1年間で129.99USDなので、おそらく購入するのではないかと思います。

OpenGL Programming Guide (5)

"OpenGL Programming Guide 8th Edition (2013)"、先日の立命館大学での講義に持参しました。

OpenGL Shading Languageの説明をしたあと、同書を学生さんに回覧しました。興味を持ってくれるかな?

講義が終わっても、同書が戻ってこないので、どうしたのかなと思ったら、ウガンダの学生さんがじっと読んでいます。それならと、「興味があるなら、どうぞ持ってて」と言ったら、「アリガトウゴザイマス」となりました。彼はGLSLを習得するのでしょうか。

ピアノ消音ユニット

我が家の半世紀以上経ったアップライトピアノ、今後どうしようか...

いろいろと迷ったあげく、消音ユニット(KORG社製HT-10)を取り付けることにしました。調律付きで10万円強。

これは大正解です。なんと、音色もいろいろ変えられる!

原理はよくわからないのですが、打弦を直前に止めるユニットを内蔵させます。そして、光センサで打弦を読み取り、それを電気信号に変換、ヘッドホンに音を出すという仕組み。

これはハイテクです。すごい仕組みです。

龍馬の命日

昨日(2018年11月15日)、京都のホテルにて、ニュースを見ていました。

この日は坂本龍馬の命日なんですね。龍馬の墓がある、京都霊山護国神社には多くの方が参拝にいらしたとのことでした。しゃも鍋もふるまわれたとのこと。

司馬遼太郎先生著「竜馬がゆく」の最後には、このときの惨劇が詳細に記されています。もちろん、どのような最後を遂げたかというのは知る由もないのですが、この小説は何度も読んだので、それが事実であるかのように、脳裏に刻まれています。

立命館大学レクチャ (3)

本日(2018年11月15日)、立命館大学・びわこ・くさつキャンパスを訪問します。先月に続いて二回目です。

前回(2018年10月25日)と同じで、industrial lectures (fall 2018) での、留学生向けの話です。今日のタイトルは、"Introduction to 3D CG and Stereoscopy"です。またヘタな英語で...

泊まりはまた京都。東本願寺のすぐそばです。なんでも、スタッフの人は常駐しているわけではないようで、カギで勝手に入る仕組みのようです。2年前のイタリアや、昨年のブダペストを思い出します。でも、日本なので不安はない。

OpenGL Programming Guide (4)

訳あって、"OpenGL Programming Guide 8th Edition (2013)"、パラパラとみています。

これは、version 4.3対応なのですが、書籍では更新(9th edition, 2016)がされていますね。Version 4.5対応です。ちなみに最新バージョンは、今年2018年のversion 4.6です。

さて、このversion 4.5対応版ですが、"with SPIR-V"と付記があります。SPIRは、Standard Portable Intermediate Representationの略ですが、おそらくここには踏み込まないと思います。

圏論 (3)

Tom Leinsterの"Basic Category Theory"、パラパラと読んでいます。

某輪講では、第1章のイントロをやっているようなので、それに追いつこうとしていますが、わかったようなわからないような...

ようするに、常識と思われることが書かれてあるものの、よくわからないところもある。もともとこういうのは苦手なんです。

飛ばし読みで、3.3 Historical remarksというのを読みました。これは自然言語なのでわかります。いまの集合論がなぜおかしいのかが書かれてあります。

Deep Learning (26)

Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.

ついに、第20章(最終章)までやってきました。"Deep Generative Models"です。

20.4がひとつのヤマですね。Deep Boltzmann Machinesです。テクとしては、ベルヌイ分布(0/1なので)、シグモイド関数、KLダイバージェンス、MCMC(ギプスサンプリング)、などですね。これまでの総動員。難しいですが、楽しいです。

岡谷先生の「深層学習」最終章がボルツマンマシンですが、3年前にここを読んだときは全くわかりませんでした(というか、途中でやめた)。でも、いま読むと、多少ともわかるのがうれしい。

自己責任

安田純平氏が、無事に帰国されました。

ここでまた、自己責任論が出ているようですね。私はこの論調に反対します。

自己責任という言葉は、自身に対して使う言葉であり、他者に対して使うべきではありません。自戒を込めて申し上げます。

また、自己責任などとヒトにモノを言うのであれば、匿名ではいけません。これはネットの根本的な問題です。

最後に、ジャーナリストの方々がおっしゃっていますが、ジャーナリストというのは、危険を冒してそのようなところに取材に行くのだということ。なぜか?誰も行かなくなってしまったら、そこがどのような状況になっているのかわからないわけです。我々を代表して、敢えて危険なところに行っているのだと思いたいです。

サンプリングの謎 (2)

昨日(2018年11月7日)の記事にて、コメントをいただきました。

「標本平均と期待値を混同されてはいませんか?」というものです。それで、少し調べてみました。

薩摩順吉先生「確率・統計-理工系の数学入門コース7」の103ページに、「標本平均」と題して以下の記述があります。

「3-2節で定義した平均は、全体の分布がわかっているとして、その確率密度にもとづいて計算した平均である。それに対して、標本平均は、全体のことはわからないまま、その中から抽出した標本について、単に算術平均をとったものである」

なるほど、この記述によれば、私は混同しています。たいへん失礼いたしました。

私は通常の確率・統計本より、機械学習本を読むことが多いのですが、機械学習本だと、標本での平均操作を普通にやり、それを期待値とみなします。もちろん、ある分布からの標本です。ただ、実際には正しい分布はわからないので、あるモデルを仮定し、そこから標本をとってやることになります。

このあたりは、もしかしたら多少の乖離があるのかもしれません。

サンプリングの謎

サンプリングは、日常普通に使われます。

たとえば、ヒトの身長の平均を求めたいときは、ランダムにサンプルを抽出、それの算術平均で計算します。これは誰も疑問に思いません。

しかし、ちょっと待ってください。平均の定義は、サンプル値にその確率をかけて、サンプル数で足し合わせたものですね。

ここに乖離があるわけですが、これはモンテカルロ法でサンプルした状況と同じです。つまり、サンプリングするということは、ある確率密度から抽出するので、すでに確率が考慮されているということです。

このあたり、初歩的な確率・統計本では、きちんと説明がされていないような気がします。気のせいかな?

二項分布 (4)

二項分布 Bin(n, p)の分散は、np(1-p)です。

これを求めるには、さまざまなやり方があります。もちろん、平均の計算よりも難しい。

まず、確率変数をひとつとして分散を計算します。これは分散の定義により、

(0-p)2(1-p) + (1-p)2p = p(1-p) --- (1)

そして、式(1)をn倍してやればよいです。

数式をいじりたい人は、以下の計算をすればよろしい。

Σ(r-np)2nCrpr(1-p)n-r --- (2)

やり方はたとえば、「高校数学の美しい物語」というブログに紹介されています。このサイトの記述は素晴らしく、よく参考にします。

二項分布 (3)

二項分布 Bin(n, p)の平均は、npです。

これを求めるには、さまざまなやり方があります。たとえば、ひとつひとつの確率変数の平均はpなので、それをn倍してやればよい。これが一番簡単です。

数式をいじりたい人は、以下の計算をすればよいです。

ΣrnCrpr(1-p)n-r --- (1)

計算してやると、npになりますが、これは少しややこしいです。やり方はたとえば、「高校数学の美しい物語」というブログに紹介されています。シグマ/コンビネーション/二項定理のよい練習になります。

横浜マラソン2018顛末記

2018年10月28日、予定どおり、「横浜マラソン2018」が開催されました。昨年は台風で中止だったので、それのリベンジです。

最初は抑えて、というか、人混みで走れず、キロ6分半ペースです。しかるに、このペースが幸いして、前半なんとかこれで乗り切りました。

さて、後半です。いつものように、やはり低速走行がもたず、25キロ付近から、歩いたり走ったりの繰り返しとなりました。結局、ネットで5時間ちょうど。平均でキロ7分でした。

コースですが、みなとみらい地区と新杉田付近を往復します。帰りは首都高速を走りました。

天気はよく、昨年のメダルももらいました。一年間どこかに保管してあったわけですね。めでたしです!
プロフィール

加納裕(かのうゆたか)

Author:加納裕(かのうゆたか)


[略歴]
1983年3月東京工業大学工学部機械物理工学科卒業
1983年4月(株)図研入社
1987年1月同社退社
1987年2月(株)ソリッドレイ研究所を6名で設立、取締役
1994年3月同社退社
1994年4月(株)スリーディー入社
1996年10月同社取締役
1999年12月上海大学兼務教授
2002年10月同社代表取締役
2009年9月ものつくり大学非常勤講師~現在
2009年10月同社代表退任/退社
2010年1月ソフトキューブ(株)入社~現在(技術顧問)
2017年4月湘南工科大学非常勤講師~現在


[業界団体・学会活動]
電気学会・第三期次世代インタラクティブディスプレイ協同研究委員会(幹事)/最先端表現技術利用推進協会・アカデミック部会(旧:三次元映像のフォーラム)(副部会長)/日本バーチャルリアリティ学会ハプティクス研究委員会(委員)/ACM・SIGGRAPH(Professional Member)/情報処理学会(正会員、CVIM会員)/3Dコンソーシアム(賛助会員)/3DBiz研究会(個人賛助会員)/URCF(特別会員)

----------------

前職:立体映像産業推進協議会(幹事)/日本バーチャルリアリティ学会・論文委員会(委員)


[資格]
TOEIC805点
数学検定1級(数理技能)
中型・普自二免許
サッカー4級審判員

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QRコード