FC2ブログ

QED

ファインマンの"QED (1985)"、購入したのは2004年ですから、もう14年前になります。

QEDとはQuantum Electormagneticsの略で、日本語では「量子電磁気学」と略されます。ファインマンはこの業績で、1965年ノーベル物理学賞を受賞しました。

難しい理論ですが、本書では、数式はただのひとつも出てきていません。なぜかというと、これは一般向けのレクチャを書籍にしたものだからです。

14年前に購入したので、もう何回か読んでいるとおもいきや、実は最初の10ページくらいしか読んでいません。いつもこれを読み始めると、緊急に読まなければいけない本の割り込みが入ります。

それは言い訳ですが、また読み始めています。今回は完読できますように!

Deep Learning (22)

Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.

第10章は、ついにRNN (Reccurent Neural Network) です。これが最後の難所です。

まずは、back-propagationの計算です。通常のものと変わりませんが、RNNでは、BPTT (back-propagation through time) というものを使います。

具体的な式は、(10.17)~(10.28)です。式(10.18)は、softmaxのcross entropyの微分です。これは既に習得しました。以下をご覧ください。

http://kanouy.blog9.fc2.com/blog-entry-2027.html

汎用的な設定では、教師データは総和してイチとなればよいのですが、式(10.18)は、ひとつの出力だけがイチ、ほかはゼロという特殊な場合を想定しています。

Deep Learning (21)

Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.

第9章は、CNN (Convolutional Neural Network) です。もともとこれがdeep learningを流行らせた。2012年のことです。

ただ、この章にはCNNの学習方法がきちんと書かれていませんね。畳み込みフィルタの重みは共通なので、これの学習には工夫が必要なはずですが、これに関する記載がされていません。なぜ?

ちなみに、岡谷先生の「深層学習」には書かれてあります。6.7 勾配の計算、です。

Wordページ削除の謎

Wordで文書を作っていたところ、最後に罫線のようなものが入ってしまいました。半角の破線を入力していて、ついreturnキーを押してしまい、これが作成されました。

このシロモノ、なかなか削除ができません。「ページ削除機能」を使って、最後のページを削除してやると、なんとその罫線のようなものは、削除されたあとのページの最後に来る。亡霊みたいです。

あれこれやってもどうしても削除できないので、ページ単位でメモ帳にコピー、それを別のWord文書に貼り付け、なんとか切り抜けました。メモ帳にはおかしな記号はコピーできないので、フィルタとして使ったわけです。

Wordは2007です。バックアップ機を使っているから古いのですが、それのせいでしょうか。

HIGH OUTPUT MANAGEMENT (2)

アンディ・グローブによる名著、「HIGH OUTPUT MANAGEMENT(2017)」が復刻されたので(なぜかカタカナのタイトルとなった)、それの旧版(絶版?)、「インテル経営の秘密―世界最強企業を創ったマネジメント哲学(1996)」を再度手に取りました。

難しい本です。最初の「朝食工場」から難しい。

ビジネス書というのは、ほとんどが一度読めばおしまいで、ブックオフなどに流れるのでしょうが、本書は難しいので、手放してはいけません。何度でも読めます。科学の手法を経営に持ち込んだものです。

The Lord of the Rings

この週末、以前から録画で残っていた、"The Lord of the Rings"三部作を観ました。面白いものは何度でも観る。

ゴラムのCGで話題になった映画です。この三部作は2001~2003年に作られたので、いまから15年以上経っているわけですが、いま観ても、そのクオリティにまったく遜色はありません。

次は、やはり録画で残っている、"The Hobbit"三部作を観ます。こちらは、2012~2014年なので、10年新しいです。CGのクオリティに目立った変化はありますでしょうか?

イニエスタ

先日の定例サッカー(2018年7月22日)終了後、これも恒例の、サッカー仲間のお店でビールを飲んでました。

18時から、Jリーグの神戸-湘南が始まりました。これが、イニエスタの日本でのデビュー戦です。試合会場は満員。当たり前か。

すでに湘南が2点リードの後半、イニエスタが登場しました。ボールをキープすると、雰囲気が変わります。何度か惜しい連携がありました。これがバルサだったら決まるんだろうな...などと思いつつ、今後が楽しみになりました。

すでにピークは過ぎていますが、最後のキャリアを充実して送ってほしいです。

パソコン修理 (11)

某T社製パソコン、画面の不具合が限界まできました。

まず、最初の立ち上げで画面が表示されるのは、非常に幸運です。画面の角度をあれこれ変えたり、本体との結合部を押したり引いたりして、5分くらいでやっと表示されます。

で、この週末、ついに4度目の修理に出しました。まだ4年経っていないんですけど...

それと同時に、知り合いが中古パソコンの販売をやっているので、購入することにしました。これも某T社で、同じような感じのモデル(スペックはこちらのほうがよい)。さて、どうなりますでしょうか?

ニュートン法 (4)

ニュートン法で、5次方程式の解を求められるかどうか、実験してみました。

ご存知の通り、解の公式は4次方程式までしか存在しないので(ガロア理論)、数値的に解くしかありません。あらかじめ因数分解した方程式を展開し、ニュートン法でやってみました。すると、必ずしも初期値に近い解に収束するのではないことに気がつきました。これはややこしい。

そこで最適化の専門書を見てみたところ、ひとつ解を求めたら、それを因数として、次数を減らしていくとありました。そして、これを繰り返す。

ニュートン法、単純ながら、なかなか奥が深い解法です。

ニュートン法 (3)

ニュートン法は、以下のように繰り返して、f(x) = 0の解を求めるものですが、

x1 = x0 - f(x0) / f'(x0) --- (1)

f'(x) = 0の解、つまり極値を求めるにはどうすればよいでしょう。式(2)の右辺第2項の微分を増やせばよいのですが、少しまともに導きます。まず、f(x)を2次までテイラー展開します。

f(x) ≒ f(x0) + f'(x0)(x - x0) + (1/2)f''(x0)(x - x0)2 --- (2)

式(2)をイコールとおいてしまい、xで微分します。

f'(x) = f'(x0) + f''(x0)(x - x0) --- (3)

式(3)を変形すると、

x = x0 - f'(x0) / f''(x0) --- (4)

となり、繰り返しの式が得られました。

LINE

連れのLINEアカウントが、諸事情で凍結されてしまい、仕方なく、いったん削除して、また作成。

その過程で、私が電話番号検索で、招待することになりました。結局それは必要なかったのですが、そこでLINEと電話番号が、無意識に結びついてしまった。

そうしたところに、FBの知人から、メッセンジャーで、「LINEアカウントが凍結されたので電話番号を教えてほしい」、との連絡が来ました。友達からの認証が必要とのこと。上記のことがあるので、あまり疑問を持たず、番号を入力しようとしました。知り合いですから。

ここで再度、送られてきたメッセージを確認。む、彼は、このような言葉使いをするのか?さらに、この知人とは、いまはFBとのつながりだけで、日ごろやりとりしているわけではありません。周囲に認証してくれる知人はいくらでもいるはず。おかしいな。

結局、FBアカウントが乗っ取られたと判明いたしました。電話番号は送っていません。

FIFAワールドカップ2018 (12)

FIFAワールドカップ2018決勝、フランス対クロアチアは、4-2でフランスが勝ちました。

クロアチアを応援してはいましたが、この結果は妥当でしょう。フランスは強かった。

試合は深夜0時からナマで観ましたが、睡魔が襲い、断続的に意識がありませんでした。なので、終了後、再度録画で。

Batch Normalization

Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.

8.7.1 Batch Normalizationの記述が、いまいちよく解らなかったので、原著論文にあたってみました。

Sergey Ioffe, Christian Szegedy, Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, 2015.

ネットで取れます。要するに、層ごとに正規化してやるということですね。たぶん...

FIFAワールドカップ2018 (11)

FIFAワールドカップ2018準決勝の第2試合、クロアチア対イングランドは、2-1でクロアチアが勝ちました。

1-1のまま延長戦に突入。延長後半にクロアチアが決勝点を入れ、そのまま試合終了。

実はこの試合、午前3時に起きる気力がなく、今朝録画を早送りで観ました。

決勝は、フランス-クロアチアとなりました。順当にいけばフランスなのでしょうが、ここはクロアチアを応援します。これまでのワールドカップでは、クロアチアのような小国が優勝したことはありません。ユーロと違うところです。

FIFAワールドカップ2018 (10)

FIFAワールドカップ2018準決勝の第1試合、フランス対ベルギーは、1-0でフランスが勝ちました。

試合内容は、まったくの互角。フランスが1点取ってからは、文字通り目が離せない試合となりました。

アザールに最後のところで仕事をさせない、反則を取られてもおかしくない、フランスの守備が固かった。アザールは孤軍奮闘、ルカクとデブライネは不発。

ベルギーは優勝できるメンバを揃えましたが、またもベスト4で撃沈。ワールドカップの初優勝は敷居が高い。1998年のフランスしかり、2010年のスペインしかり。

最後はファウルが目立ちました。理解はできますが、ベルギー-日本戦のフェアな試合を観たあとでは、少し後味が悪かった。

Deep Learning (20)

Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.

8.3.2 Momentumという節に、物理シミュレーションのような記述があります。

要するに、最適化計算の過程(=gradient descent)で、速度(velocity)というものを考えてやると、学習が速く進むという理屈です。これはどういうことかと言うと、エラー関数を力学でいうところのポテンシャルと見なすと、それの座標での微分というのは力です。そして、力は加速度に比例します。

このような観点から機械学習における学習を眺めると、学習率(learning rate)が一定というのは、加速度一定ということです。しかるに、物理においては、速度はどんどん速くなるわけです。この速度をうまく使って、学習率を更新してやることにより、学習が速く進むということです。お試しあれ。

FIFAワールドカップ2018 (9)

FIFAワールドカップ2018準々決勝の結果は以下のとおりでした。

ウルグアイ×0-2○フランス
ブラジル×1-2○ベルギー
ロシア×2-2○クロアチア
スウェーデン×0-2○イングランド

私の予想は、またまた3勝1敗でした。さて、準決勝の予想です。

フランス○2-2×ベルギー

ともに南米勢を破った優勝候補同士。事実上の決勝戦。どちらが勝ってもおかしくない。

クロアチア×1-2○イングランド

1966年自国開催での優勝以来のチャンス到来で、クロアチアを応援したいものの、イングランドに軍配。

Deep Learning (19)

Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.

7.12 Dropout ですが、ここでも、振舞いの解析をしています。楽しい。

dropoutの解析は非常に困難なので、いろいろと言い訳(=近似)したあとで、簡単なsoftmaxの事例について、正確な解析しています。結果として、dropoutの確率が0.5のときは、重みを0.5にしてやればよいということがわかります。

よくやるな~という感じです。数学の勉強になります。

湘南工科大学非常勤講師 (11)

湘南工科大学の非常勤講師、11回が終わり、残すところ5回となりました。

最後の課題は、微積のほうはニュートン法、線形代数のほうは最小二乗法をやります。

ニュートン法は、微積における数値計算の真打でしょう。私もいろいろと仕事で苦しみました。価値のある技術。

最小二乗法が線形代数?、と思うかたもいらっしゃるでしょう。確かに、通常は二乗誤差をとり、パラメタで偏微分して、正規方程式を導きます。ただ、いまの定式化のはやりは、ベクトルと行列で一気に解くやりかた。機械学習系の書物ではおなじみですが、線形代数の枠組みで教えられることは、ほとんどありません。これをやります。これから重要となる技術です。

私の数学は、実学がベースです。

FIFAワールドカップ2018 (8)

ワールドカップの話が続きます。仕事はしているつもりですが、寝不足気味...

ベスト8が出揃いました。また予想です。当たらないけれど(ちなみに、決勝Tの後半戦4試合の予想は、3勝1敗)。

ウルグアイ×2-3○フランス
ブラジル○3-2×ベルギー
ロシア×1-1○クロアチア
スウェーデン×0-2○イングランド

個人的には準々決勝が面白い。全て好カードですから。

FIFAワールドカップ2018 (7)

この深夜(2018年7月3日)行われた、FIFAワールドカップ2018決勝トーナメント、日本対ベルギーは、2-3でベルギーが勝ちました。

原口、乾の素晴らしいシュートで、まさかの2点先行。この展開を、世界の誰が予想したでしょう。ベルギーの反撃を食うも、その後も互角に渡り合う展開。どこかで日本に3点目が入ってもおかしくなかった。

最後の本田のフリーキックは枠を捉えており、やはり彼は一流のキッカー。直後にカウンターに合い、決勝点を決められましたが、激戦の最後にふさわしいものだったと思います。

初のベスト8には届きませんでしたが、十分に楽しませてもらいました。

FIFAワールドカップ2018 (6)

決勝トーナメントの組み合わせが決まりました!すでに、4試合の結果が出ています。

フランス○4-3×アルゼンチン
ウルグアイ○2-1×ポルトガル
スペイン×1-1○ロシア
クロアチア○1-1×デンマーク

フランス-アルゼンチン戦は死闘でした。クロアチア-デンマークは、中盤はミスの多い凡戦でしたが、PKは盛り上がりました。双方のキーパが秀逸。

以下は、私の予想です。日本戦は、予想ではなく、期待+応援...

ブラジル○2-1×メキシコ
ベルギー×1-1○日本
スウェーデン○2-1×スイス
コロンビア×1-2○イングランド

FIFAワールドカップ2018 (5)

この深夜(2018年6月28日)行われた、FIFAワールドカップ2018日本第三戦、対ポーランドは、0-1でポーランドが勝ちました。

最後の展開は、賛否両論があるでしょう。コロンビア-セネガル戦が、コロンビアが勝っているという情報が入ってから、日本は負けてもよかった。ポーランドもすでに勝っているので、これ以上攻める動機がない。というわけで、両者の思惑が合致し、ボールキープに終始。

決勝トーナメントは、ベルギーです。いまの日本には、強すぎる相手。

VRとAIが拓く新たな3Dの世界へⅡ

昨日(2018年6月27日)、3D合同シンポジウムが開催されました。東京国際フォーラムにて。

テーマは、「VRとAIが拓く新たな3Dの世界へⅡ」、というものです。副題は、「新しい映像情報メディアにおけるディープラーニングの可能性」。

内容は充実していました。ひとつだけご紹介します。

バンダイナムコさんのプレゼンは、おふたりで登場。漫才の掛け合いみたいです。固い話を聴く機会の多い私は、最初は様子見でしたが、さすがゲーム業界のかた、人を引き込みます。VRゲームの実績を話されましたが、長年VRをやっている私にとっても、ゲーム業界の知見は重要です。さすがです。

聴いていて思い出したのが、SEGAのCrypt。東京ジョイポリスに設置されていたCAVEタイプのアトラクションです。1996年オープンで、直後に行きました。これが素晴らしい出来で、CGと分かっていながら、とんでもなく怖かった。関連の古い記事はこちらです。

http://kanouy3dinc.blog129.fc2.com/blog-entry-72.html

FIFAワールドカップ2018 (4)

ポーランドが第三戦を残して、早々と敗退が決定。下馬評では、コロンビアとポーランドが残るとの予想が高かったので、これは意外。

さて、第三戦ですが、日本が決勝Tに行くためには、引き分け以上であればよいと報道されています。その通りですが、では、負けたときは?

日本が負けたときですが、これは他力本願(コロンビア-セネガルの結果次第)となります。以下、3パターン。

1)まずは、セネガルがコロンビアに勝てばよろしい。

2)では、両者が引き分けたときは?まずセネガルが決勝T進出です。このときは、日本とコロンビアの比較になりますが、勝ち点は4で同じです。次は、得失点差の比較になりますが、コロンビアが引き分けるということは、現状の+2です。対して、日本は現状+1ですが、負けるということはそれ未満になるわけですから、コロンビアが決勝T進出。

3)では、コロンビアがセネガルに勝ったときは?これが最も可能性が高いと思います(コロンビアは勝たないといけないので、死ぬ気でくる)。この場合は、セネガルと日本が勝ち点4で並びます。現状、得失点差は同じ。もしも同じ得失点差で日本とセネガルが負けた場合、総得点の比較です。これも同じ場合、日本-セネガル戦の結果によりますが、これは引き分けです。ここから先は、ほとんど例がないので、よくわかりません(ネットに記事がある)。いずれにせよ、この場合が最もややこしい。

このようにクリティカルなので、日本-ポーランド戦とコロンビア-セネガル戦は、同時進行。目が離せません!

余弦定理

三角形の計算では、直角三角形を使うことが多いので、余弦定理には疎かったです。三角関数は苦手なので、避けていました。

直角三角形であれば、

c2 = a2 + b2 --- (1)

という簡単な式が成り立ちます。これはaとbの成す角θ=90の場合です。そうでないときは、

c2 = a2 + b2 - 2ab cosθ --- (2)

ですね。これが余弦定理です。きらいですが、証明したくなった。

aとbをそれぞれcに射影します。すると、

c = a sinα + b sinβ --- (3)
θ = α + β --- (4)

が成り立ちます。式(3)を二乗してやると、

c2 = a2 sin2α + b2 sin2β + 2ab sinαsinβ
= a2(1 - cos2α) + b2(1 - cos2β) + 2ab(cosαcosβ - cosθ)
= a2 + b2 - 2ab cosθ - (a2cos2α + b2cos2β - 2ab cosαcosβ)
= a2 + b2 - 2ab cosθ - (a cosα - b cosβ)2 --- (5)

となりますが、式(5)の最後の項はゼロなので、式(2)が証明できました。

FIFAワールドカップ2018 (3)

この深夜(2018年6月24日)行われた、FIFAワールドカップ2018日本第二戦、対セネガルは、2-2の引き分けでした。

1-1のあと、大迫、乾と決定的なシーンがありました。イヤな展開となり、案の定失点。

日本の同点弾は交代出場の本田でした。よく決めました。決して簡単なボールではなかった。

第三戦は28日、対ポーランドです。

Deep Learning (18)

Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.

7.8 Early Stopping ですが、ここの解説は面白いです。Early Stoppingは結局のところ、L2正則化と同じであるという結論なのですが、解析のお手本のような記載があります。

適当な計算で、L2正則化とEarly Stoppingの対応付けをします。それが、式(7.43)。

(I - εΛ)τ = (Λ + αI)-1 --- (1)

左辺がL2、右辺がEarly Stoppingです。ここで、両辺の対数をとり、更にlog(1+x)のテイラー展開で一次の項をとります。すると、

τ= (1/εα) --- (2)

が得られます。τはEarly Stoppingにおける計算ステップ数、εは学習率、αはL2正則項の比例定数です。

式(2)をみると、αが大きいほど、τは小さくなります。つまり、τが小さいということは、overfittingされる前に計算を打ち切るということですから、結果としてL2正則の効果が得られる、ということです。

ベクトル値関数の最適化 (6)

入力もベクトル、出力もベクトルの関数、

f(x) --- (1)

において、近似することをせず、エラーEを、以下で定義します。

E = fT(x)f(x) --- (2)

式(2)を、xで微分してみましょう。

∂E/∂x = 2JTf --- (3)

式(3)をさらに微分します。

2E/∂x2 = 2(∂JT/∂x)f + 2JTJ --- (4)

式(4)の右辺第1項はややこしいのですが、これはf = 0の付近では、ゼロに近くなりますから、第1項を無視してしまいます。すると、式(4)は、

2E/∂x2 = 2JTJ --- (5)

となります。これが、ガウス-ニュートン近似と言われるもので、LM法で使われるものです。

FIFAワールドカップ2018 (2)

昨晩(2018年6月19日)の、FIFAワールドカップ2018日本初戦、対コロンビアは、大方の予想に反して、日本が2-1で勝ちました。

開始早々のPKはラッキー。退場だと二重のペナルティになるので、どうかな~と思いましたが、まあいいや。日本が先制。

そのあとが、日本の悪い癖が出ました。守れるわけがないのに、攻撃の意欲が薄れ、案の定、失点。

気を取り直して、一点取りましたが、運がよかったと思います。

私はサッカー仲間と、チームメートのお店で飲みながら観戦。楽しいひとときでした。盛り上がりました。
プロフィール

加納裕(かのうゆたか)

Author:加納裕(かのうゆたか)


[略歴]
1983年3月東京工業大学工学部機械物理工学科卒業
1983年4月(株)図研入社
1987年1月同社退社
1987年2月(株)ソリッドレイ研究所を6名で設立、取締役
1994年3月同社退社
1994年4月(株)スリーディー入社
1996年10月同社取締役
1999年12月上海大学兼務教授
2002年10月同社代表取締役
2009年9月ものつくり大学非常勤講師~現在
2009年10月同社代表退任/退社
2010年1月ソフトキューブ(株)入社~現在(横浜オフィス)
2017年4月湘南工科大学非常勤講師~現在


[業界団体・学会活動]
電気学会・第三期次世代インタラクティブディスプレイ協同研究委員会(幹事)/最先端表現技術利用推進協会・アカデミック部会(旧:三次元映像のフォーラム)(副部会長)/日本バーチャルリアリティ学会ハプティクス研究委員会(委員)/ACM・SIGGRAPH(Professional Member)/情報処理学会(正会員、CVIM会員)/3Dコンソーシアム(賛助会員)/3DBiz研究会(個人賛助会員)/URCF(特別会員)

----------------

前職:立体映像産業推進協議会(幹事)/日本バーチャルリアリティ学会・論文委員会(委員)


[資格]
TOEIC805点
数学検定1級(数理技能)
中型・普自二免許
サッカー4級審判員

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QRコード