FC2ブログ

イラストで学ぶ機械学習 (4)

自己レスのような記事です。「イラストで学ぶ機械学習」、109ページ、

Ji(θ) = log q(yi|xi;θ) --- (1)

θ(y)に関する勾配(つまり∇yJi(θ))を計算してみましょう。この式には、式番号が振られていないので、式(A)とします。

出発の式は、同書の(10.1)です。これはq(y|x;θ)ですが、ここのxを、xiとしてやります(i番目の訓練標本なので)。そしてこの対数をとります。そうすると、(分子)-(分母)と分かれます。

この式を、θ(y)で微分してやります。式(A)は、(分母)の微分が最初に来ているので、ここからやります。これは対数関数の微分にほかなりません。つまり、対数の中身がそのまま分母に下りてきます。分子は対数の中身を、θ(y)で微分してやればよいです。Σの中のひとつの項を除いて、定数扱いです。合成関数の微分を忘れずに!

分かりにくいのは、式(A)の場合分けをしている項でしょう。これは(分子)に関する微分です。(分子)は(分母)と異なり、logとexpがキャンセルされているので、expはなくなります。さらに、y≠=yiのときは定数と見なされるので、微分はゼロとなります。これが、場合分けをしている理由です。

注意としては、式(10.1)と式(A)では、前者がΣでj=1からbまでとっているのに対し、後者ではΣがなくなってベクトルの内積となっています。後者のほうが分かりやすいですが、なぜ表記を変えたのか、私にはよくわかりません(深い理由があるのかも)。
スポンサーサイト

MIRU2015 (3)

昨日(2015年7月29日)は、MIRU2015の二日目でした。私的には、トヨタ自動車の方による、自動運転の話がお目当て。まさに旬の話題です。

外界センサーは、やはりVelodyneを使用しているのだそうです。定番ですね。これ以外にもセンサーは使われています。一方、ステレオは使われていないようなので、画像の方にはちょっとガッカリ?

企業の方による、このような講演は、いろいろと内容に制限がかかることが多いのですが、その割には、かなり突っ込んだお話も聴けました。ところで、少し前に、なにかのシンポジウムで、デンソーの方が同じ内容で話をされましたね。このふたつの技術は異なるんでしょうね。関係がよくわかりませんでした。

自動運転に関する私見です。人による(ほとんど)故意の、または過失による死亡事故を聞くのは、痛ましいです。なので、いっそのこと、全て自動運転にしてしまえばよい。ただ、運転をしたい人がいるのは知っています。なので、特区(または特県)を作って、その地域に限って、人による運転を許す。私は運転に興味ありませんし、いまは車も手放しているので、こんなことを言ってしまいますが、怒られそうですね。

MIRU2015 (2)

昨日(2015年7月28日)、MIRU2015の初日に参加いたしました。

日本の画像処理技術は高いです。Invited Sessionがありましたが、ECCVやCVPRなど、レベルの高い国際会議にたくさん採択されています。日本の画像技術の将来は明るい?

内容は難しいので、非常にアタマを使いました。本日明日もそんな感じとなりそうです。

MIRU2015

本日より三日間(2015年7月28~30日)、MIRU2015(The 18th Meeting on Image Recognition and Understanding)に参加します。会場は、ホテル阪急エキスポパーク、です。画像にべったりと寄り添ってきます。

ところで、この場所は1970年大阪万博会場だったところですね。当時は東京に住んでいましたが、家族で万博、行きました!父が大手銀行勤めだったので、なぜか長蛇の列をスキップして、全ての館に裏口から入れたことを思い出します(FastPass?)。要するに、父は社会的な地位があったわけです。小学生ながらに、「これは反則ではないか」などと思ったのですが、どんどん人気館に入れたので、まぁいっか、と流しました。

別な話では、阪急千里線・千里山駅も近くですね。ここに、私が中学2年~高校2年の三年間、実家がありました。私はこのときは、珍しい「逆単身赴任」で、鹿児島→東京、でした。姉がひとあし先に東京に行っていて、妹はさすがに小さかったので、両親に付いていった。大阪/東京/鹿児島と、家庭が三分割されていた時代の思い出の場所です(喧嘩していたわけではない)。

iTunes

遅ればせながら、iTunesを本格的に利用しだしました。まさにlaggards。

私が聴く音楽は、クラシック(18~19世紀)ピアノと、1970年代プログレですが、まずは所有のCDを全てインポート(CDはお金を払っているので、これは合法ですよね)。グールドのゴールドベルク二枚(1955/1981)が、なぜか曲ごとに交互に入ってしまった以外は、正常にできました。

ここからは、適宜、気に入ったのをiTunes Storeで購入。ショパンの前奏曲集を聴きたくなったので、定番のアルヘリチのを買おうとしたら、ブレハッチという人のが出てきたので、これは誰じゃと調べてみたら、ポーランド人で、しかも2005年ショパンコンクール優勝者でした。ではこちらで、ということで購入。非常に満足です。楽しみが増えました。

新国立競技場 (2)

新国立競技場、最後のグチと思って、以下の記事(↓)を書きましたが、

http://kanouy.blog9.fc2.com/blog-entry-1375.html

たしか、書いたその日に、白紙撤回されました。な~んだ、「変えられない」と言っていたのに、変えられるんですね。まあ、実際に、変えられないというものは、ほとんどないけれど。

デザインは、どういうものになるのでしょうね。「キールアーチ」は国の威信とはなりませんが、この逆境をまとめることが、威信でしょうか。関係の方々、頑張ってくださいね!私に関しては、普通の競技場でいいです。

と書いたところで、先日わざわざ混乱中のギリシャに行かれたMさんと、最近メシを食べたことを思い出しました。ギリシャはいろいろと発明しているわけですが、オリンピックもそうですね。であれば、財政難のギリシャに代わって、オリンピアを再現するというのはどうでしょう?あまり費用がかからないで済みそうですしね。

イラストで学ぶ機械学習 (3)

「イラストで学ぶ機械学習」、アマゾン書評で星四つにしてしまいましたが、訂正します。星五つです。いろいろな理由がありますが、1)これほどの情報量を、2)こんな薄さで、しかも3)一見簡単そうな体裁で、ということです。

いま攻略しているのは、第10章、確率的分類(logistic回帰)ですが、これはすごいです。いきなり対数線型関数が出てきて(この関数形の説明は一切ない)、クラス事後確率をモデル化し(この章最初のページ、式(10.1))、対数尤度を最尤推定により最大化することが説明され(2ページめ)、対数線型関数の基底をガウスカーネルとして(これも2ページめ)、確率的勾配法によるmatlabコードが記載されている(3ページめ)、という具合です。このスピード感、半端ないですよん。

恥ずかしながら、mablabコードの元となっているアルゴリズム、取り出された訓練標本に対する対数尤度の、パラメタに関する微分式の検証に手間取りました(109ページです)。logistic回帰本は、何種類か読んだのですが、こんな式、どこかにありましたっけ?四苦八苦しながら、やっと導けました。

Logistic Regression (2)

前回の記事(↓)の導出、忘れるので書いておきます。備忘録!

http://kanouy.blog9.fc2.com/blog-entry-1288.html

PRMLの式(4.90)は、以下のとおりです。

E(w) = -Σ{tnln(yn) + (1 - tn)ln(1 - yn)} --- (1)

ここで、

yn = σ(wTΦn) --- (2)

です。σはsigmoidで、

dσ/da = σ(1 - σ) --- (3)

の関係があります。PRMLでは、式(4.88)。

式(1)をwで微分します。

∇E(w) = -Σ{tn(1/yn)yn(1 - ynn + (1 - tn)(1/(1 - yn))(-yn(1 - ynn)} --- (4)

ここで、式(3)を使いました。ちょっと煩雑ですね。これを計算すると、PRMLの式(4.91)、

∇E(w) = Σ(yn - tnn --- (5)

が得られます。簡単な式になりました!つまらない記事でスミマセン。

今後のマラソン予定 (22)

このクソ暑い中、マラソンの話を書くなって?大丈夫です。秋の話です。現在のエントリ済みは以下。

1)第16回東京夢舞いマラソン(フル、東京、2015年10月12日)←連れと
2)第19回大阪・淀川市民マラソン(フル、大阪、2015年11月1日)←単独

このふたつは、昨年と同じです。なので、コピペでOK。回数と日程だけ変えました。

1)ですが、スタートは、都庁・とみん広場だそうです。一昨年は、いまは亡き国立競技場、昨年は、日比谷公園でした。毎回変わるのも楽しい?

2)は二年連続三回目。実は当日は、結婚記念日でした。でも、GWにバルセロナに行ったので、許してもらいます。次の日からはSIGGRAPH ASIA(神戸)ですから、個人的な前夜祭のようなものですね。

Mathematics for 3D Game Programming and Computer Graphics (2)

Eric Lengyel, Mathematics for 3D Game Programming and Computer Graphics, Third Edition, 2011.

の、4.6 Quaternions、読んでみました。以下、本書がないと、なんのことだかわからないと思いますが、備忘録でございます(でも、邦訳でもこの部分は同じです)。

同書の式(4.44)を、以下に再掲すると、

φ(p1)φ(p2) = φ(p1p2) --- (4.44)

式(4.44)が成り立つφは、homomorphismと呼ばれるそうです。それはよいとして、式(4.44)、自明ではないですね。これをちゃんと導きたい。

式(4.35)を用いると、

p1p2 = -(p1, p2) + p1 x p2 --- (4.35.1)←こういう番号は同書にはないです。派生ということで勝手に付けました。以下同様。

p1p2それぞれにφを施しても、式(4.35.1)は成り立ちますから、

φ(p1)φ(p2) = -(φ(p1), φ(p2)) + φ(p1) x φ(p2) --- (4.35.2)

式(4.35.2)に、式(4.42)(4.43)を使います。再掲すると、

φ(p1) x φ(p2) = φ(p1 x p2) --- (4.42)
(φ(p1), φ(p2)) = φ((p1, p2)) --- (4.43)

φ(p1)φ(p2) = -φ((p1, p2)) + φ(p1 x p2) --- (4.35.3)

一方、φは、

φ(s + v) = s + φ(v) --- (1)

が成り立つことを要請しているので、式(1)を用いると、式(4.35.3)は、

-φ((p1, p2)) + φ(p1 x p2) = -(p1, p2) + φ(p1 x p2) = φ(-(p1, p2) + p1 x p2) = φ(p1p2) --- (4.35.4)

最後の等号は、式(4.35.1)を用いました。これで、式(4.44)が導かれました。オシマイ!

新国立競技場

新国立競技場、言い尽くされた感がありますが、私もつらつらと書こうかな...

最初のザハ氏の、流線形の斬新な案、「これは凄い!」と思いました。<エイリアン>を彷彿とさせましたが、私はエイリアンが好きだった。

そのあとの改正案、「UFOが降り立ったような、周囲と調和の取れないぶざまなもの」、との意見がありましたが、私はこれもデザインとしては良いと思いました。UFO好きだからでしょうか(CGとして綺麗だったということもあるかも)。いっそのこと、UFOみたいに飛べちゃって、空中から観戦できればよいのに、とさえ思いました。平地であれば、どこへでも着陸できるという、世界初の競技場。

シロウトとしてわからないのが、<キールアーチ>です。「極めて実現が難しいものであるが、これを達成することが日本の建築技術の高さを世界にアピールする」ということですが、よくわからないです。これで1千億円(+メンテ費用)だそうですが、飛躍的に競技が楽しくなるような仕組みの導入で、コストがかかると言われれば、競技場なので納得はできますが、キールアーチは競技には直接の関係はないはず。このようなお金があれば(ないはず)、地域の運動場を芝生にして欲しいですね。サッカーをする身として、地域の公営の競技場の状態は悲惨です(橋下元大阪府知事は、小学校を芝生化した)。

シロウトには難しそうに見えても、それが実は簡単にできた、というのが技術の真骨頂のはずです。新幹線のように、チャレンジングな技術はあるのでしょうが、それは実現すれば便利だから、チャレンジする正統な理由があります。キールアーチが実現すると、なにが便利になるのでしょう?これを知りたいですね。橋とかに応用できるのかな?

日本の建築技術としては、やはり木造でしょう。京都の大型木造建築、すばらしいです。なので、木造建築で競技場を作るというのはどうでしょう。これが実現すれば、画期的なものになるはず。もっと言えば、ザハ氏と同じく、Pritzker賞を受賞した、坂茂氏による(リサイクル可能な)紙の競技場というのは?

三角関数の加法定理

とある振動工学の洋書を読んでいて、式の変形にぶつかりました。

cos(2π(t - td)/Tn) - cos(2πt/Tn) --- (1)

式(1)は、式(2)になるんですと。

2sin(πtd/Tn)sin[2π((t/Tn)-(td/(2Tn)))] --- (2)

三角関数が苦手な身には、この変形は苦労しました。たぶん、30分くらいかかりました。得意なヒトであれば、5分程度でできちゃうのかな?

必要なのは、三角関数の加法定理(倍角の公式を含む)だけなのですが、見通しを立てておかないと、自分が何をやっているのか、わからなくなってしまいます。因子でくくれるように、式を誘導するのがコツですね。

なぜこのような変形をやりたいかというと、tが出てくる項を、ひとつにしたいからでございます(と思います)。

イラストで学ぶ機械学習 (2)

「イラストで学ぶ機械学習」、33ページの以下の式、

θ = Σ(kk/(kk2 + λ))ψkTyφk --- (1)

につきまして、「計画行列(design matrix)を特異値分解してやると、そうなることがわかる」、などと前回書かせていただきましたが、わからない!、とのことで、以下に説明いたします。

計画行列をΦとして、これの特異値分解を、

Φ = UDVT --- (2)

とします。Φの一般逆行列を、Φとすると、

Φ = (ΦTΦ)-1ΦT = ((UDVT)TUDVT)-1(UDVT)T = (VD2VT)-1VDUT --- (3)

となります。これを更に計算していくと、式(1)でλ=0となる解が得られます。ここまでは、よく見るのでよいですね。しかるにridge回帰のときは、式(3)は、

(VD2VT + λI)-1VDUT --- (4)

となりますが、ここで、

VD2VT + λI = V(D2 + λI)VT --- (5)

のように、λをサンドイッチの中に入れてやることができるわけです。これは、Vが正規直交行列であることに拠りますので、一般に成り立つことではありません。あとはこれを計算してやると、式(1)が得られます。

関西出張 (11)

本日(2015年7月13日)は、大阪にまいります。明日帰京です。

例の衝撃的な事件が起こってから、初めての新幹線です。逃げ場を確保できればよいので、車両の選定は必要です。...などと考えてしまった。不謹慎でしょうか?

イラストで学ぶ機械学習

講談社からの、「イラストで学ぶ機械学習」、骨のある書物です。イラストで簡単そうに思わせていますが、全然そうではない。少なくとも、初学者向けではありません。騙されないように...(悪い意味ではありませんよ!良書です)

33ページ、パラメタθを、ℓ2制約付き最小二乗(つまり、ridge回帰)で求めるところがあります。式を書くと、

θ = Σ(kk/(kk2 + λ))ψkTyφk --- (1)

という、ややこしいものになります。詳細は本書をお読みいただくとして、問題は、係数のところです。λがなければ、係数は1/kkとなり、よく見るヤツ(特異値分解による、一般逆行列の計算)ですが、λ(つまり、制約の重み)が分母のこのあたりに入るのが重要なところ。でも、なぜ?これは、計画行列(design matrix)を特異値分解してやって、じっと見てやると、そうなることがわかります。

本書は、結論だけが書かれており、式の導出などは全て省かれているので、非常に勉強になる(?)本です。式(1)、なんとかわかったつもりになりましたが、みなさまはいかがでしょうか?

ちなみに、式(1)ですが、特異値kに関する総和記号もk。戸惑うので、変えたいのですが、本書がこのようになっています。

数学同好会 (11)

既に、何回開催したかは不明の<数学同好会>、直近は2015年7月3日夜に行いました。ここ最近は、横浜中華街の某店です。15名集まると、二階が貸切です。これまでは、全て貸切となりました。盛況です。

常連のメンバでは、おそらくもっとも知名度が高いと思われる、桜井進さん(著書多数)がドタキャンで、本会の(真の)創始者、Yさんは、なんと、元レースクイーンを誘ってきました。Tさんとしておきます。だんだん、何の会だかわからなくなってきましたが、楽しければよい。

数学にご興味ある方(数学嫌いではいけません)であれば、いつでも参加を受けつけております。数学の知識などの審査はございません。会費もありません。

コンテンツ東京2015

先週(2015年7月2日)、コンテンツ東京2015に顔を出してきました。広島からの帰りだったので、あまり時間がなかった。

お目当ては、第1回先端コンテンツ技術展でした。これは、これまで3D&VR展で出展してきた企業さんが、流れてきた(?)ものです。

しかるに、かなり面白かったのが、第4回クリエイターEXPO。ブースのレイアウトが凄まじく細かいので、これは何じゃ、と思っていたら、個人の方の出展ですね。これはすごいです。イラストレータ・ゾーン/絵本ゾーン/アート・ゾーン/写真家ゾーン、などと、いろいろ区分けがされていて、クリエイター個人の方が陣取っていらっしゃいます。興味のある人は、対面で座って、いろいろと話をする、という趣向。ここで商談がまとまることもありそうですね。

それにしても、みなさんの作品、(しろうと眼には)クオリティが高いです。でも、このような方、いっぱいいるんだろうな...敷居の高い業界であることを、再認識。おカネを稼ぐのはたいへんです。

なでしこジャパン (2)

女子ワールドカップ決勝戦、アメリカは、強かった。

前半は、2014年(男子)、ドイツ-ブラジル戦を思い出しました。点が入るときは、どんどん入ってしまうのがサッカーです。恐ろしい。

後半、2-4となったとき、これは!?と思ったのですが、直後のアメリカの追加点が痛かったですね。

でも、よく決勝まで行きました。一か月間楽しませていただきました。選手のみなさま、おつかれさまでした!

GCAD (4)

GCAD、入ろうかな...

先週(2015年6月30日~7月1日)、情報処理学会・グラフィクスとCAD研究会(GCAD)に参加いたしました。広島大学・東広島キャンパスにて。日本VR学会・力触覚の提示と計算研究委員会が共催です。なので、参加者に知人は多かった。

初日の夜は、恒例の懇親会です。西条駅近くの居酒屋にて。私はいつものようにビールをスキップして、地元の日本酒(純米に限る)を頼んだのですが、なんでも西条では、乾杯は日本酒でやるべしという条例(?)があるらしく(未確認、罰則規定なし)、その理由で、私が乾杯の音頭をとることになってしまった。隣に座っていらした、東工大・佐藤先生が言い出したような...

初日、広島大の研究室をいろいろと見学しました。多くの興味深い研究をされています。私的にちょっとヒットしたのが、「線虫シミュレーション」。線虫は、302個のニューロンがあり、その接続も解明されているそうです。ということは、線虫のニューラルネットが組めるわけです。これはかなり面白いです。そのネットワークの入力と出力がいかなるものかを訊いたのですが、時間切れでございました。論文読まなければ。

naive Bayes (2)

おバカな私が解けなかった問題というのは、以下のようなものです。

ベイズでよくある、病気であるかどうかを判定する問題。Aを、病気であるとき1、そうでないとき0とします。Bを、判定とします。ベイズでは、

P(A=1|B=1) = P(B=1|A=1)P(A=1)/ΣP(B=1|A)P(A) --- (1)

として求めます。これはベイズの定理そのもので、代表的な設問。これはよいですね。

では、判定するやりかたが、ふたつ以上ある場合はどうでしょう?つまり、Bはベクトルになります。ベクトルなので、bとしましょう。そうすると、式(1)は、

P(A=1|b) = P(b|A=1)P(A=1)/ΣP(b|A)P(A) --- (2)

P(b)は多変量の同時確率密度なので、これをどう評価するかです。naive Bayesでは、これを簡単に、各変数の周辺分布の積にしてしまえ、ということです。つまり、各変数を独立と見なす。式で書けば、

P(b|A=1) = ΠP(bi|A=1) --- (3)

問題は、この仮定が妥当かどうかです。この例では、独立と見なしても、よい気がしますけどね。ダメですか?

transpose trick

'transpose trick'、知ってますか?

以前それが登場した記事はこちら(↓)です。

http://kanouy.blog9.fc2.com/blog-entry-1343.html

このときは、実数に対して使いました。当たり前のことですが、よく見落とします。

もうひとつ、覚えておきたいのが、単位行列によるもの。単位行列は転置でも変わりません。これを使う。例えば、

E = AA-1 = (AA-1)T = (A-1)TAT --- (1)

式(1)の両辺の右から、(AT)-1を掛けると、

(AT)-1 = (A-1)T --- (2)

が導けました。

古本の処分方法 (4)

以前の記事で紹介した、洋書を買い取ってくれるN社(↓)ですが、

http://kanouy.blog9.fc2.com/blog-entry-782.html

2年ぶりにまたお願いしました。20冊程度。ほとんどが理工系洋書ですが、今回は邦書も少し。

ところで、以下は上記記事の抜粋ですが、

「3回も利用したとなると、いまは不要と思われる洋書は殆どないですが、そうなるとまた新書の購入意欲が湧いてきた!というわけで、また利用する機会がありそうです」

なんてのたまっておいて、実はその直後に2回利用しました。なので、前半はウソ。でも、後半は正しかった。今回売却したものの中には、前回利用後に購入したものも含まれていましたからね。
プロフィール

加納裕(かのうゆたか)

Author:加納裕(かのうゆたか)


[略歴]
1983年3月東京工業大学工学部機械物理工学科卒業
1983年4月(株)図研入社
1987年1月同社退社
1987年2月(株)ソリッドレイ研究所を6名で設立、取締役
1994年3月同社退社
1994年4月(株)スリーディー入社
1996年10月同社取締役
1999年12月上海大学兼務教授
2002年10月同社代表取締役
2009年9月ものつくり大学非常勤講師~現在
2009年10月同社代表退任/退社
2010年1月ソフトキューブ(株)入社~現在(技術顧問)
2017年4月湘南工科大学非常勤講師~現在


[業界団体・学会活動]
電気学会・第三期次世代インタラクティブディスプレイ協同研究委員会(幹事)/最先端表現技術利用推進協会・アカデミック部会(旧:三次元映像のフォーラム)(副部会長)/日本バーチャルリアリティ学会ハプティクス研究委員会(委員)/ACM・SIGGRAPH(Professional Member)/情報処理学会(正会員、CVIM会員)/3Dコンソーシアム(賛助会員)/3DBiz研究会(個人賛助会員)/URCF(特別会員)

----------------

前職:立体映像産業推進協議会(幹事)/日本バーチャルリアリティ学会・論文委員会(委員)


[資格]
TOEIC805点
数学検定1級(数理技能)
中型・普自二免許
サッカー4級審判員

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QRコード