FC2ブログ

正規行列 (2)

正規行列(normal matrix)について、やはり、以下の本には詳しく載っていました。さすがです。

Carl Meyer, Matrix Analysis and Applied Linear Algebra (2000).

409ページに行列の階層図があります。要素が実数の場合だと、

Real-Symmetric < Normal < RPN --- (1)

RPNというのは、'Range Perpendicular to Nullspace'です。難しいのでここでは言及しません。

では、式(1)において、正則行列(nonsingular matrix)はどこに入るのか?正則性というのは、式(1)の階層には入りません。つまり関係ないということです(上記本の言葉を引用すると、"with no implication being reversible")。ちょっと面白くないですか?
スポンサーサイト

平面幾何学

先日の数学同好会(2016年2月19日)にて、某F社T氏より、平面幾何学の問題が提示されました。娘さん(理系)が仕入れてきたネタとのこと。

本BLOGはテキストだけをポリシとしているので、図解はいたしませんが、なかなか骨のある問題です。最初はできないかと思った。連立方程式で解こうとしたんですが、条件がひとつ足りない。

結局のところ、三角形の合同条件ふたつと、円周角の定理を使ってできましたが、私はこういうの、昔から苦手でした。補助線を効果的に引くのがポイントですが、これがうまく引けない。また、きちんと証明になっているかどうかも怪しい。

平面幾何学は一種のパズルみたいなもので、世界の共通語のひとつです。このネタでかなり盛り上がりました。

ReLU

活性化関数(activation function)は、ニューラルネットなどにおいて、線型変換後の非線形変換を施すときに使われます。

最も有名なのは、シグモイド(sigmoid)関数で、

f(x) = 1/(1 + exp(-x)) --- (1)

それと同じく、

f(x) = tanh(x) --- (2)

も有名です。式(1)と式(2)は、ほとんど同じことです。

ところで、最近聞くのが、ReLUというヤツ。'Rectified Linear Unit'、の省略形です。

なんかカッコよさそうだと思っていたら、これはなんてことはない、

f(x) = x --- (3)

という線型関数です。ただし、x≧0のときだけ。x≺のときはゼロです。

式(3)は、単純であり、非線形とは言えないのですが、2010年に提案されてから、かなり多用されているようですね。新しいので、BishopのPRMLにも記載はありません。xの値が大きくなっても勾配がゼロにならないのがウリ?

L1ノルムと言い、こういう単純なのが流行ってますね。なにやら面白い。

正規行列

対角化可能な行列について、私はよく勘違いしました(いまもする)。以前は、正則な行列が対角化可能だと思っていた。これはもちろん間違い。

ではどういうことかというと、正規行列(normal matrix)というのがあります。これがまた、線型代数の教科書では、もうしわけなさそうに載っているわけです。このレベルでは、おそらくきちんと説明ができないのだと思われます。

通常私がお目にかかる行列は、対称行列なのですが(慣性テンソル/共分散行列/ヘッセ行列...)、これは正規行列です。なので、私は対称行列だけを念頭においています。でも、これでよいのだろうか?

Pattern Recognition and Machine Learning (12)

BishopのPRML、第5章'Neural Networks'、に続いて、第3章'Linear Models for Regression'、第4章’Linear Models for Classification’、も続いて読み直しました。なぜかと言うと、第5章は第4章を参照している、しかるに第4章は第3章を参照している、という具合なのです。これも'backpropagation'?

これらの章は、邦訳では上巻にあたります。確かにここまでで、一区切りです。通常の著者であれば、ここで息切れし、これで出版しよ!ということになるのでしょうが、ここからよく後半戦も行いますね。実際のところ、この前半部で、かなり後半の記述を引用しています。なので、最初から全体の構想はあったということです。

後半については、多少読んだところはありますが、全く手つかずのところもあります。さあ、どうするか?

Pattern Recognition and Machine Learning (11)

BishopのPRML、第5章の'Neural Networks'は、長らく放っておいたのですが、Deep Learning全盛により、遅ればせながら読むことにしました。

さすが、ニューラルネットの専門家、記述は精緻です。要するに、ニューラルネットというのは、ロジスティック回帰の組み合わせなんですね。定式化が非常によく似ています。もちろん複雑なだけ、ロジスティックよりも、難しいですが。

ここで面白いのが、計算例がほぼすべて、2層のネットワーク(つまり、隠れ層が1層)に限定されていることです。隠れ層がひとつでもあれば、計算の定式化はできますから、これはこれでよい。

なにを言いたいかというと、多層についての言及がないこと。本書の出版は2006年ですから、いまのDeep Learningはなかった。Hintonが出した論文は2006年ですが、これへの言及もありません。逆に言えば、本書はDeep Learningの影響が機械学習に及ぶ前の、最後の稀有な書物というわけです。その意味でも貴重です。名著であることに疑いはありません。

立体協ラウンドテーブル (5)

立体協では、2016年2月24日、ラウンドテーブルを開催いたします。本日が、おおやけでの申し込み締め切り日です。みなさま、奮ってご参加ください!以下、会員宛のメール(抜粋)です。

(ここから)-----------------------------------------------

このたび以下日程にて、立体協ラウンドテーブルを開催いたします。
今回は【錯視】をテーマといたしました。ふるってご参加ください。

※「ラウンドテーブル」はセミナーにありがちな一方通行の情報提供ではなく、
 登壇者同士や来場者との対話やディスカッションを可能にすることを目的としております。

百聞は一見にしかず、我々の視覚は人間の五感の中で最も情報量が多く
精度が高いものと考えられています。しかし、我々の認知は時として大きく誤り、
現実に存在しないものを感じ取ってしまうことがあります。
この現象は錯視と呼ばれています。
最近の錯視や視覚質感の研究をを通じて視覚のからくりを考え、
新たな視覚メディアの可能性を探ります。

なお、参加の可否は【2月19日(金)】までに文末返信フォームにて
事務局(n.kita@adcom-media.co.jp )までご返信いただきますようお願い申し上げます。

●日時:2015年2月24日(水)15:00~17:15
    ※17:30~ 交流会(会費3,000円~4,000円)
●会場:東京工芸大学 中野キャンパス 1号館2階1201教室
    https://www.t-kougei.ac.jp/guide/campus/nakano/
    ※いつもと会場が違いますのでご注意ください!!
●参加費:
 ・立体協会員 無料
 ・非会員参加費 3,000円
※ただし、当日5,000円をお支払いただければ、個人会員として
 立体協入会、2016年度分年会費として徴収させていただきます。

●タイムスケジュール
15:00 開会
15:00~16:00 「錯視のニューロサイエンス」
        立命館大学 北岡明佳先生
16:10~16:55 「視覚質感の科学的検討および変幻灯の開発」
        NTTコミュニケーション科学基礎研究所 河邉隆寛様
16:55~17:15 聴講者、学生さんを交えての討論(ラウンドテーブル)
17:30~    中野坂上駅近くで交流会

※ラウンドテーブル終了後、中野坂上駅周辺にて交流会を開催いたします。
 参加費はお一人あたり3,000円~4,000円を予定しております。
 講演者の皆様にもお時間が許す限りご参加いただく予定です。
 こちらもぜひふるってご参加ください。

(ここまで)-----------------------------------------------

ヘッセ行列

一般逆行列、

Φ+ = (ΦTΦ)-1ΦT --- (1)

つまり、最小二乗法の解を求めるツールですが、Φの構成が重要です。行方向にはデータを並べる。列方向には基底を並べる。このように覚えると、いろいろな基底(多項式や三角関数)に対応できます。汎用性があり、便利です。Φは、design matrixなどと呼ばれます(BishopのPRML、142ページ)。

式(1)については、すでに理解していると思っていました。しかるに先日、地元の本屋さんで、いまはやりの機械学習系本をパラパラとみていたところ、(ΦTΦ)はヘッセ行列に対応する、と書かれてありました。えっ、そういう解釈?ちょっと不意を突かれました。でも、これもPRML、207ページに載っていました。PRML、やっぱりすごいよなぁ~

ニュートン法 (2)

ニュートン法の続報です。前回はこちら(↓)。

http://kanouy.blog9.fc2.com/blog-entry-1228.html

1変数の場合、ニュートン法の更新は、以下で行われます。極値を求める場合です。

xn+1 = xn - f'(x)/f''(x) --- (1)

これを多変数にしてみましょう。結果だけ書くと、

xn+1 = xn - H-1∇f(x) --- (2)

Hはいわゆるヘッセ行列です。式(1)と式(2)は、綺麗に対応しているので、双方を一緒に覚えると便利です。

機械学習 (2)

「機械学習」、引き続きブームです。というか、ブームではない。これが席巻します。

ところで、一方では、「人工知能」という言葉も復権しました。私は80年代から仕事をしてきたわけですが、当時の「人工知能」というのは、エキスパートシステムとか、ニューラルネットでした。双方とも、その後、「冬の時代」を経験しました。後者は見事に復活!では、前者は?

私的には、「人工知能」という言葉には、ネガティブな響きがあるので、いまの使われ方は、かなり違和感があります。でも、ジェネレーションが代われば、捉え方も違うのでしょうね。あ、もしかしたら、バーチャル・リアリティ(VR)もそうか...(いま流行りらしい)

呼び名としては、「データ駆動による推論技術(data driven estimation technology)」というのが、最も実態を表していると思います。

Facebook (11)

ふとしたことから、ハーバード大出身の気さくな若者と、Facebookでつながりました。

彼のフレンド数を見てみると、圧倒的に多いです。これまでの誰よりも多い。

なぜこんなに多いのか、彼に訊いてみたら、知っている人は全てフレンドだ、とのこと。ここでやっと気がつきました。もともとFacebookは、大学の写真集の代わりに、ということで、ハーバード大で始まったのでした。なので、彼にとっては、フレンドが多いのは当たり前なわけでした。

How beautiful he is !

先日(2016年2月7日)、叔母の通夜に行きました。小学校のとき、英語を教えてくれたりして、たいへんお世話になった方です。

焼香が済み、ご参列の方々と食事をいたしました。息子さん(つまり従弟)のヒロちゃん(大学教授ですが...)が、アルバム(=当時の写真集のこと)を持ってきてくれました。叔母の若かりし頃のものです。将来の旦那さん(=この日の喪主)との写真の脇に、自筆でコメントがありました。それが英語で、'How beautiful he is !'。

なんと、お洒落ではないですか!祖父が英語の大学教授だったので、その下の代は、英語が堪能のヒトが多いのです(父を除く)。当時の幸せな雰囲気が、伝わってきました。

悲しみはありますが、一方では、このようなときでないと、会えない人々に会うことができました。ありがとうございました。安らかにおやすみください。本件は、このような事情により、叔母にはお伝えできません。でも、どこかで聞かれているような...

テイラー展開の謎 (2)

テイラー展開、関数の近似に極めて有用な技術です。多項式は扱いやすい。

ところで、連続関数であるにも関わらず、テイラー展開できないものがあるそうです。たとえば、

y = e^(-1/x2) --- (1)

x=0のときは定義されないので、x>0とします。逆に言えば、x≦0のときは、y=0とする。

式(1)は、xがゼロに近づくとき、非常に早くゼロに近づきます。あまりにも早くゼロに近づくので、多項式として近似されないのです。

不思議なので、Mathematicaで原点周りをプロットしてみました。確かに、どんなに拡大しても、原点付近の挙動がわかりません。つまり、C∞に接続されているわけです。

式(1)は、志賀浩二先生「解析入門30講(1988)」84ページに記載されています。不思議な関数です。

xのx乗 (2)

古い記事の蒸し返しです。

http://kanouy.blog9.fc2.com/blog-entry-670.html

y = xx --- (1)

の微分は、対数微分を使うと、

y' = xx (log(x) + 1) --- (2)

と計算できます。これは前回の話です。では、

y = xxx --- (3)

の微分はどうなるのでしょう?これも対数微分を使うと簡単にできます。つまり、

log(y) = xx log(x) --- (4)

としてから微分すればいいです。適宜、式(1)(2)を使います。結果は、

y' = xxx (xx (log(x) + 1) log(x) + xx-1) --- (5)

これで終わりですが、おバカな私は、以下でも同じだと、一瞬思ってしまった。

log(y) = x log(xx) --- (6)

こりゃ~だめだ。ウソですよ。

立体協ラウンドテーブル (4)

立体協では、2016年2月24日に、ラウンドテーブルを開催いたします。みなさま、奮ってご参加ください!以下、会員宛のメール(抜粋)です。

(ここから)-----------------------------------------------

このたび以下日程にて、立体協ラウンドテーブルを開催いたします。
今回は【錯視】をテーマといたしました。ふるってご参加ください。

※「ラウンドテーブル」はセミナーにありがちな一方通行の情報提供ではなく、
 登壇者同士や来場者との対話やディスカッションを可能にすることを目的としております。

百聞は一見にしかず、我々の視覚は人間の五感の中で最も情報量が多く
精度が高いものと考えられています。しかし、我々の認知は時として大きく誤り、
現実に存在しないものを感じ取ってしまうことがあります。
この現象は錯視と呼ばれています。
最近の錯視や視覚質感の研究をを通じて視覚のからくりを考え、
新たな視覚メディアの可能性を探ります。

なお、参加の可否は【2月19日(金)】までに文末返信フォームにて
事務局(n.kita@adcom-media.co.jp )までご返信いただきますようお願い申し上げます。

●日時:2015年2月24日(水)15:00~17:15
    ※17:30~ 交流会(会費3,000円~4,000円)
●会場:東京工芸大学 中野キャンパス 1号館2階1201教室
    https://www.t-kougei.ac.jp/guide/campus/nakano/
    ※いつもと会場が違いますのでご注意ください!!
●参加費:
 ・立体協会員 無料
 ・非会員参加費 3,000円
※ただし、当日5,000円をお支払いただければ、個人会員として
 立体協入会、2016年度分年会費として徴収させていただきます。

●タイムスケジュール
15:00 開会
15:00~16:00 「錯視のニューロサイエンス」
        立命館大学 北岡明佳先生
16:10~16:55 「視覚質感の科学的検討および変幻灯の開発」
        NTTコミュニケーション科学基礎研究所 河邉隆寛様
16:55~17:15 聴講者、学生さんを交えての討論(ラウンドテーブル)
17:30~    中野坂上駅近くで交流会

※ラウンドテーブル終了後、中野坂上駅周辺にて交流会を開催いたします。
 参加費はお一人あたり3,000円~4,000円を予定しております。
 講演者の皆様にもお時間が許す限りご参加いただく予定です。
 こちらもぜひふるってご参加ください。

(ここまで)-----------------------------------------------

Italy

As I reported earlier, we went to Barcelona in the last GW. We were very satisfied. Then we decided to go to different countries around the same area in the coming GW, which definitely means Italy !

This is my very first time there (second time for my wife), so we confined our trip to the 'Northern' part. You should know the reason. We are naive.

My Italian friend lives in Pisa, so I asked him to introduce his home town. He was so kind to let us know a lot of valuable information. Surely we will meet him (and hopefully his girl friend).

Now we have set up all the things necessary for the trip (flight tickets, hotel reservations, train tickets, museums). We are ready !

Mathematics for 3D Game Programming and Computer Graphics (6)

Eric Lengyel, Mathematics for 3D Game Programming and Computer Graphics, Third Edition, 2011.

Chapter 8 'Visibility Determination'、8.2 'Bounding Volume Tests'の、楕円体のテスト方法(8.2.2 Bounding Ellipsoid Test)に、感銘を受けました。要は、視野円錐台と(view frustum)、境界楕円体(bounding ellipsoid)との干渉テストですが、この計算、この本でしか見たことない。だいたい、境界に楕円体をサポートしているツールって、ありましたっけ?

ここで紹介されている方法は、数学的にもさまざまな練習になります。流れをざっと書くと、まず楕円体の表面上の点Pを、楕円体の軸ベクトル(三つで既知、RSTとする)、およびふたつの角度(これは未知)で表します(極座標の楕円体拡張)。そして、法線ベクトルNを持つ面と接するという条件(点PNへの射影の長さ(reff)が最大となる)で、定式化してやります。すなわち、

reff = (P, N)の最大値 --- (1)

ここからは最大値を求める話です。(P, N)を、ふたつの角度で偏微分してやって、角度を求めます。三角関数が出てくるので、計算は結構ややこしい。理解はできますが、自力ではめげそう...

そうすると、

reff = √((R, N)2 + (S, N)2 + (T, N)2) --- (2)

と計算されます(同書では、式(8.40))。結果は簡単でめでたしです。

これはよいのですが、式(2)は恐ろしく簡単です。なので、楕円体がきちんと理解されていれば、同書で説明されているようなややこしい計算は必要なく、<洞察>により式(2)が閃くのではないか、と思われました。

それで、ちょっと<洞察>してみたのですが、残念ながら私の<洞察力>では、式(2)が出てきません。もう少し<洞察>してみます。

Mathematics for 3D Game Programming and Computer Graphics (5)

Eric Lengyel, Mathematics for 3D Game Programming and Computer Graphics, Third Edition, 2011.

再開しました!ハードカバーの分厚い、しっかりとした本です。読み応えあり。3DCG系書籍では、ベストのひとつですね。

Chapter 8、'Visibility Determination'、ですが、この内容はヘビーです。8.1は、バウンディングボリュームの構成法('Bounding Volume Construction')、8.2は、それに対するテスト法('Bounding Volume Tests')が記されています。ボリュームの種類は、ボックス/球/楕円体/円柱(Box/Sphere/Ellipsoid/Cylinder)、です。

記述は数学的に明快です。これを習得すれば、このテーマでは、他の資料を参考にする必要は、ほとんどないでしょうね。お薦めです。

岩波データサイエンス

先日、東京・丸の内で所用があり、そのあとオアゾ丸善に立ち寄りました。理工系の蔵書では、地元藤沢ジュンク堂もなかなかのものですが、こちらもすごいです。

マイブームは引き続き機械学習系なので、そのあたりをふらふらしていると(これがまた、たくさんある)、「岩波データサイエンス」という小冊子が目に留まりました。第一巻で「ベイズ推論とMCMCのフリーソフト」というタイトルです。いまの私にうってつけなので、衝動買いしました。150ページ足らずなので、小説のようにすぐに読めます。

講談社、コロナ社、についで、岩波も参入してきましたか...

私にとっては悪くない書物ですが、amazonの書評を見てみると、これがきれいに割れています。星ふたつのレビューが面白いのですが、ここまで書かなくても...

スター・ウォーズ/フォースの覚醒

「スター・ウォーズ/フォースの覚醒」、観ました!しかも、3Dと2Dの両方。臨場感の比較をしたかった。

結論としては、明らかに3Dのほうが臨場感がありました。これが最初にわかったのが、冒頭の予告編です。

「ザ・ウォーク」という、とんでもない映画の予告編があったのですが、3Dだと、これが背筋が寒くなる感触がありました。しかるに、2Dだとそれはなかった。3Dだと効果が違うのです。

ただ、これについては「実験屋さん」は待ったをかけるでしょう。最初に観たのが3Dなので、2Dを観たときは、すでにその知見がありますから、「慣れていた」、というわけです。なので、2Dを観てから3Dを観るという実験もすべきだという理屈です。

でもこれもおかしくないですか?二回目のセットはすでに知見がありますからね。では、人を変えて比較する。でも、これも、人が違うので個人差があります。結局のところ、きちんとした実験はできないのでは?

あ、「スターウォーズ」の話が、予告編の話になってしまいましたね。もちろん、本編も、3Dのほうが迫力ありました。
プロフィール

加納裕(かのうゆたか)

Author:加納裕(かのうゆたか)


[略歴]
1983年3月東京工業大学工学部機械物理工学科卒業
1983年4月(株)図研入社
1987年1月同社退社
1987年2月(株)ソリッドレイ研究所を6名で設立、取締役
1994年3月同社退社
1994年4月(株)スリーディー入社
1996年10月同社取締役
1999年12月上海大学兼務教授
2002年10月同社代表取締役
2009年9月ものつくり大学非常勤講師~現在
2009年10月同社代表退任/退社
2010年1月ソフトキューブ(株)入社~現在(技術顧問)
2017年4月湘南工科大学非常勤講師~現在


[業界団体・学会活動]
電気学会・第三期次世代インタラクティブディスプレイ協同研究委員会(幹事)/最先端表現技術利用推進協会・アカデミック部会(旧:三次元映像のフォーラム)(副部会長)/日本バーチャルリアリティ学会ハプティクス研究委員会(委員)/ACM・SIGGRAPH(Professional Member)/情報処理学会(正会員、CVIM会員)/3Dコンソーシアム(賛助会員)/3DBiz研究会(個人賛助会員)/URCF(特別会員)

----------------

前職:立体映像産業推進協議会(幹事)/日本バーチャルリアリティ学会・論文委員会(委員)


[資格]
TOEIC805点
数学検定1級(数理技能)
中型・普自二免許
サッカー4級審判員

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QRコード