FC2ブログ

ベイズ統計の理論と方法 (3)

衝撃的だった以下の著書、

・ベイズ統計の理論と方法 – 2012/3/1 渡辺 澄夫

から浮気して、

・代数幾何と学習理論 (知能情報科学シリーズ) – 2006/4/27 渡辺 澄夫

を購入したという話を書きましたが、こちらのほうが衝撃的でした。第2章で広中先生の「特異点解消理論」が登場。なぜこれが学習理論に出てくるのか?

というわけで、再び前著に戻りました。すると面白いことに、多少とも易しく感じました。なぜかというと、後著は完全な一般論を展開しているのですが、前著はそれをベイズに絞ったということです。
スポンサーサイト



ベイズ統計の理論と方法 (2)

渡辺澄夫先生(東工大)の著書、「ベイズ統計の理論と方法(2012)」、暫し積読状態でしたが、また手に取りだしました。

最初の衝撃からは脱出して、多少は読み進められそうです。

そうしたところに、C大P氏が、代数トポロジーと機械学習を組み合わせたなにかをやりたいとの話があり、関連本を探してみたところ、

代数幾何と学習理論 (知能情報科学シリーズ) – 2006/4/27 渡辺 澄夫

に到達しました。とうわけで、こちらに浮気します。

予測にいかす統計モデリングの基本

仕事でカルマンフィルターが必要となりました。

カルマンフィルターについては、制御系の本を読んだことがあるのですが、かなりわかりづらいです。機械学習本では、PRMLに触りが書かれてあります。こちらのほうが整理されています。要するにガウシアンなので。

基本は時系列解析です。したがって、かなり前に購入した以下の本(アマゾンのコピペ)、

予測にいかす統計モデリングの基本―ベイズ統計入門から応用まで (KS理工学専門書) – 2011/4/7 樋口 知之

を読み始めました。本書は良書には違いないのですが、スタイルのせいか、私にはちょっととっつきにくいです。再チャレンジ。

AIのための数学 (7)

「AIのための数学」、全12回シリーズ、数人の方々に対して、お披露目をすることになりました。公開に向けてのシミュレーションです。

第一回ですが、これはイントロです。具体的な数学はやらないで、なぜ本講座をニューラルネットに絞ったのか、ということを説明します。

予定では90分です。ただしこれはもともと、不特定多数向けの講座として企画したものなので、90分というのは、さまざまな質疑応答も入れたものです。今回のような小人数だと、30分程度で終わってしまうかもです。そうなると、その補填として第二回も続けて行う可能性があります。第二回というのは線型代数です。

Factor Analysis (2)

Factor Analysis (FA) を引き続き調査。特にPrincipal Component Analysis (PCA) との関係についてです。

資料をいくつか読みましたが、相変わらずこのふたつの関係がわからないので、原理をよく知っているはずのPCAを用いて分析をやってみました。ようするに因子を見つけるわけですが、いろいろとやってみると、なんとなくやり方がわかってきました。

まず固有値を大きい順から並べ、それに対応する固有ベクトルをみます。相関のあるものは、まとまったあるパターンを示します。これらをうまくクラスタリングしてやれば、因子を見つけることができるというわけです。ただし、このやり方と、FAの関係がわかりません。

とりあえずの結果を、C大P氏に見せると、"Super interesting!"ということになり、この路線でもう少しやってみます。

Bayesian Data Analysis (4)

最近かなり本を処分しましたが、最後まで迷ったのがこれ。

Andrew Gelman, et. al., Bayesian Data Analysis Third Edition, CRC Press (2013).

かなり参照してきたのですが、記述が私には難しいです。難しいというか、私の読むスタイルに合わなかった?

良書であることに疑いはありません。アマゾンでの評価も高い。私も実は、評価で星5つといたしました。

かなり高値で買い取ってくれたので、使いこなせる人の手に渡ってくれることを期待します。

最小二乗法 (4)

「AIのための数学」に続く企画として、「最小二乗法」をドラフトとしてまとめました。全5回です。

第1回: 正規方程式
第2回: 多変数2次関数
第3回: 特異値分解・一般逆行列
第4回: 曲線のあてはめ
第5回: レーベンバーク・マーカート法

最初に、最小二乗法を行列とベクトルとして記述し、逆行列で一気に解けることを示します。これが基本。

そのあとは、それを支える2次関数のおさらいや、その他の知っておいたほうが便利な技法の説明をします。このあたりは好みにもよりますね。

ゴールは、非線形最小二乗法の定番、Levenberg–Marquardt法(LM法)。最小二乗法のトリにふさわしい、優れた手法です。最適化本でも、最後に載っているものです。

最小二乗法 (3)

「AIのための数学」に続く企画として、「最小二乗法」をまとめたいと、先日書きました。

導入は、最小二乗法を行列とベクトルとして記述し、これを逆行列で一気に解くということから入ります。よくある導入。

そしてゴールですが、これはLevenberg–Marquardt法(LM法)におきたいです。これは非線形最小二乗法なのですが、ベクトル関数の偏微分や一次近似の手法が必要となります。さらに、以前仕事でLM法でうまくいった経験をしました。優れた手法です。ただし、関係者以外、あまり知られていない。

最小二乗法 (2)

「AIのための数学」という資料を全12回としてまとめたので、次の企画を考えているということを、先日書きました。

そのときは、潜在変数(latent variables)の理論が候補と書いたのですが、ほかの候補としては、最小二乗法ですね。これは極めて重要です。これをまとめたい。

以下のような素晴らしい本もあります。

イラストで学ぶ 機械学習 最小二乗法による識別モデル学習を中心に (KS情報科学専門書) 2013/9/18 杉山 将

これは悪戦苦闘しながら、何度も読んだ本です。最小二乗法がキーワード。同書に乗っていない事柄も織り込みたい。

latent variables (3)

「AIのための数学」という資料を全12回としてまとめたので、次の企画を考えています。

要は、ニューラルネットではない機械学習の重要な技術、ということですが、潜在変数(latent variables)の理論が候補ですね。PRMLの後半を占めるものです。

PRMLの展開は素晴らしく、まず混合正規分布の例を出して、それをEMとして定式化します。そのあとそれを拡張するかたちで変分法にもっていく。

これはよいのですが、変分法はちょっと難しいですね。なのでこれは避けたい。ではどうするか?結局は数値計算にもっていくことになりますね。検討中。

Structural Equation Modeling

Item Response Theory (IRT) に絡んで、Structural Equation Modeling (SEM) についても、勉強する必要が生じました。

SEMの日本語訳はいろいろとあるようですが、それはよいとして、まずは以下の書籍を購入。

Principles and Practice of Structural Equation Modeling (Methodology in the Social Sciences) 2015/11/4 Rex B. Kline

モデリングの考え方はなんとなくわかりました。でも、計算方法については、専用ツールを使うということで、あまり書かれていません。心理学系の書籍はこんな感じですね。

Factor Analysis

Item Response Theory (IRT) に絡んで、Factor Analysis (FA) も調べています。

しかしこの、FAというのがよくわかりません。一見、Principal Component Analysis (PCA) に似ているのですが、PCAは、おのおのの要因から、それが混合された、いわゆる「主軸」を計算するというものです。固有値・固有ベクトルの話となり、線型代数的には完成されています。

それに対して、FAというのは、逆ですね。もともと存在するであろう「因子」の混合物として観測された値から、もともとの「因子」を計算するというものです。その計算方法はさまざまなものがあるらしく、さらにはFAの存在意義についても議論が交わされている、ということで、FAとPCAは似て非なるもののようです。

Item Response Theory (2)

Item Response Theory(IRT)ですが、以下の書籍、

Item Response Theory for Psychologists (Multivariate Applications Series) Psychology Press; 1 edition (May 1, 2000)

すべてではないですが、何となく全部めくったので、これを機会に、内輪でのセミナを企画いたしました。

私も一か月前まではなにも知らなかったので、その私が説明するのはおかしいわけですが、私のモットーは「学習する最善の策は、それを人に教えること」です。これを実践するわけです。

Item Response Theory

なぜか、Item Response Theoryをやることになりました。略して、IRT。

これは主に心理学で使われる、計測手法です。それに対して、従来の計測手法は、Classical Test Theory。略して、CCT。

以下の本を購入、勉強しております。

Item Response Theory for Psychologists (Multivariate Applications Series) Psychology Press; 1 edition (May 1, 2000)

cross-entropyの謎 (8)

2クラス分類における、cross entropyは以下の式です。

L = -t*log(y) - (1-t)*log(1-y) --- (1)

tは教師データ、yはいま計算して得られている値です。t=yのとき、Lは最小となります。

さて、ここでの注意は、y=0またはy=1のとき、式(1)は定義できません。対数はゼロをとれない。教科書によっては、注意事項として記載されています。

しかしながら、yがシグモイド関数で得られているのであれば、yは0や1はとりません。なので、式(1)はそのまま計算できることになりますね。うまくできていますが、これは偶然なのだろうか?

XOR

諸事情により、XORをニューラルネットで実装しました。Javaによる、ベタ書きハードコードです。一切のツールは使用せず。

入力2つ、隠れ層2つ、出力1つ、という極めて簡単なものです。隠れ層と出力は、ロジスティックをかませました。隠れ層のロジスティックはいまは流行らないのでしょうが、基本を重視。数学的には、微分ができますから、こちらが楽しい。

結果ですが、きちんと学習されまして、パラメータ9(3×3)つの遷移をエクセルで図示。さらに、入力を(x,y)平面、出力をzとして、三次元プロットをMathematicaで描画しました。

このあたりはわかりきっていると思っていたのですが、すべて実装してみると、やはりいろいろな知見が得られました。基本は大切です。

本当は、Mathematicaですべてやりたかったのですが、私のテクがなく、上記のように3つのツールの併用となりました。

AIのための数学 (6)

「AIのための数学」、全12回シリーズ、お客さんがついたということを報告いたしました。したがって、二回目を敢行。

第3回:重要な関数(多項式/指数/対数)

第3回は、後半にsigmoid/softmaxをやるのですが、これが思いのほか時間がかかりました。関数形がややこしいのと、関連していろいろな説明をして、結局これで80分を費やすこととなりました。このあたりは、確かに難しいと思います。

コメントとしては、通常の工学では必須の三角関数は、AI系ではほぼ登場しないということ。また、三次関数以上もほぼ登場しません。最適化の定式化では、二次関数にしますからね。したがって、このあたりはスキップです。このようにして、最短経路を目指します。

Generalized Linear Models With Examples in R

Generalized Linear Models (GLM) について、もう少し勉強したいと思い、良書を調べていました。見つかったのが、こちらです。

Generalized Linear Models With Examples in R (Springer Texts in Statistics) 1st ed. 2018 Edition by Peter K. Dunn (Author), Gordon K. Smyth (Author)

三章までが、通常のlinear modelsの説明です。ここまではわかっていることが期待されます。

四章から、GLMに入ってきます。五章からが本論。かなりよい感じですね。

シンギュラリティサロン (3)

知人のアメリカ人AI研究者Sと、チャットをしていました。AIがらみです。

そこで、シンギュラリティサロンについて少しばかり触れたところ、興味を示しました。かれは確か、シンギュラリティ派だったと思います。サイトがあれば教えてほしいとのことで、そこのURLを送りました。

もちろん日本語のサイトなので、かれには読めないだろうと思っていましたが、返事が日本語で「ありがとう」と来ました。もしや、AIを駆使した技術で読めたのだろうか。まあ、Google翻訳でも、ある程度は意味がわかるでしょうけれど。

損失関数の微分の謎 (2)

ニューラルネットワークにおける、損失関数Lの話です。前回は混乱しました。

http://kanouy.blog9.fc2.com/blog-entry-2415.html

ネットからの出力をyとします。そのあと用途に応じて、シグモイドまたはソフトマックスをかませます。その出力をy'=f(y)とします。回帰のときは、y'=yです。そして、その教師(正解データ)をtとします。

損失関数としては、誤差の二乗、またはクロスエントロピーが用いられます。このような適切な損失関数を使う限りにおいて、

∂L/∂y = y' - t --- (1)

となります。訂正させていただきます。y'=f(y)をかませなければ、式(1)が計算できないことになります。

損失関数の微分の謎

ニューラルネットワークにおける、損失関数Lの話です。

ネットからの出力をyとします。そのあと用途に応じて、シグモイドまたはソフトマックスをかませます。そして、その教師(正解データ)をtとします。

損失関数としては、誤差の二乗、またはクロスエントロピーが用いられます。このような適切な損失関数を使う限りにおいて、

∂L/∂y = y - t --- (1)

のように、極めて簡単な形となることが知られています。理論の素晴らしい結論です。

しかし、ここで疑問です。もしそうであれば、結局のところ、損失関数の具体的な形はどうであれ、式(1)を使って最適化すればよいわけですね。すこし整理が必要。

Artificial Intelligence Engines (2)

James Stoneの最新刊、到着したので、読み始めました。

Artificial Intelligence Engines: A Tutorial Introduction to the Mathematics of Deep Learning – 2019/3/28 James V Stone

とりあえず、第4章まで読みました。この章は、backpropagationです。私の絶賛売り込み中の講義集、「AIのための数学」のターゲットです。

第5章は、Hopfield Nets、第6章は、Bolzmann Machinesで、このあたりは私がよくわかっていないところです。当然私の講義集ではout of scope。統計物理が出てくるのもこちらです。

シンギュラリティサロン (2)

「シンギュラリティサロン」に参加いたしました。2019年12月7日、場所は大手町サンケイプラザ。先月の大阪に続き二回目です。

テーマは「脳の理論の過去・未来:ベイズ脳仮説からニューラルエンジンへ」。講師は島崎秀昭氏(京都大学大学院情報学研究科特定准教授)。大阪と全く同じです。大阪が予行?

熱力学と情報理論の類似性が最近言われていますが、今回もそのような話です。大阪では時間がなくなりカットした、ニューラルエンジンですが、90分聴いたあとで、さすがに集中力が切れていたので、よくわかりませんでした。

AIのための数学 (5)

「AIのための数学」、全12回シリーズ、お客さんがついたので、初回を行いました。

大人数向けの企画なのですが、今回は個人なので、進捗は変わります。今回は、以下を行いました。

第1回:イントロダクション、AIまたは機械学習の基礎、達成目標の提示
第2回:線型代数(ベクトル/行列)
第3回:重要な関数(多項式/指数/対数)

Introduction to Linear Regression Analysis

二年以上前に購入したものの、一切読んでいなかった以下の書物(アマゾンのコピペ)、

Introduction to Linear Regression Analysis 5th Edition by Douglas C. Montgomery (Author), Elizabeth A. Peck (Author), G. Geoffrey Vining (Author)

ですが、最近少し読んでみたところ、まさに回帰分析のバイブルとも言えるものです。回帰に関わる人にはぜひともおススメいたします。英語も平易。

ただし、一般化線形モデル(GLM)については、一章が割かれているのみで、イントロ程度です。この話題は、ほぼ同じ著者による、別書をおススメしているようです。

stepwise regression methods

C大P氏と、データ分析関連の仕事をしています。これの続報。

P氏が使っている技術の中で、"stepwise forward backward regression"というのがあります。なんでも、説明変数を逐次加えていったり、外していったりして、変数選択を行うということらしいのですが、これまで聞いたことがありませんでした。

そこで、購入したが、一切読んでいない以下の書物(アマゾンのコピペ)、

Introduction to Linear Regression Analysis 5th Edition by Douglas C. Montgomery (Author), Elizabeth A. Peck (Author), G. Geoffrey Vining (Author)

を取り出したところ、第10章に載っていました。"variable selection and model building"です。なるほど。

coefficient of determination

C大P氏と、統計関連の仕事をしています。知らないことが多く、勉強になります。

P氏が計算した結果に、R2とR2adjという数値が出力されていました。さてこの意味は?

R2は、日本語では「決定係数」(英語はcoefficient of determination)と呼ばれることを、M氏から聞きました。確かに、以下の本ではそのように書かれています(アマゾンのコピペ)。

数理統計学―基礎から学ぶデータ解析 単行本 – 1996/4 鈴木 武 (著), 山田 作太郎 (著)

ちなみに、同書では、R2adjは、「自由度調整済み決定係数」(英語ではmultiple correlation coefficient adjusted for the degree of freedom)などと呼ばれています。正確な表現ではありますが、長すぎませんか?

他書では、R2adjは、簡単にadjusted R2などと記しているものもあります。これで十分のような気がします。例えば、以下の書物(アマゾンのコピペ)。

Response Surface Methodology: Process and Product Optimization Using Designed Experiments (Wiley Series in Probability and Statistics) 4th Edition by Raymond H. Myers (Author), Douglas C. Montgomery (Author), Christine M. Anderson-Cook (Author)

Artificial Intelligence Engines

James Stoneの"Information Theory: A Tutorial Introduction"、積読状態になっていましたが、また読み始めました。

ついでに、彼の最新刊はないかと探してみたら、ありました。以下のものです。

Artificial Intelligence Engines: A Tutorial Introduction to the Mathematics of Deep Learning – 2019/3/28 James V Stone

私の売り込み中の講義集、「AIのための数学」に似ています(もしや私のパクリ?)。内容は当然ヒットです。すでにレビューが三つありましたが、いずれも星5つ。というわけで、ワンクリック。続報をお待ちください。

シンギュラリティサロン

このたび、「シンギュラリティサロン」に参加してきました。知人O氏からのお誘いです。日時は2019年11月16日、場所はグランフロント大阪。なかなかの雰囲気のところです。

このサロンの参加は初めてです。今回で39回を数えるようです。テーマは「脳の理論の過去・未来:ベイズ脳仮説からニューラルエンジンへ」。講師は島崎秀昭氏(京都大学大学院情報学研究科特定准教授)。

要するに、ヒトはいかにして外界を認識するのかということに対して、これまでの知見をきれいに整理していただいた、ということです(ただし、正しいかどうかはわからない)。講師の研究であるニューラルエンジンについては、時間が無くなったので省かれました。

界隈では有名な「セーラー服おじさん」にもお会いできました。

AIのための数学 (4)

「AIのための数学」、全12回ですが、売り先を探していましたが、お客さんがつきました!

これまでの関連記事はこちらです。

http://kanouy.blog9.fc2.com/blog-entry-2261.html
http://kanouy.blog9.fc2.com/blog-entry-2260.html
http://kanouy.blog9.fc2.com/blog-entry-2220.html

資料は作ってありますが、実地を踏んで、改訂していきます。楽しみです。
プロフィール

加納裕(かのうゆたか)

Author:加納裕(かのうゆたか)


[略歴]
1983年3月東京工業大学工学部機械物理工学科卒業
1983年4月(株)図研入社
1987年1月同社退社
1987年2月(株)ソリッドレイ研究所を6名で設立、取締役
1994年3月同社退社
1994年4月(株)スリーディー入社
1996年10月同社取締役
1999年12月上海大学兼務教授
2002年10月同社代表取締役
2009年9月ものつくり大学非常勤講師~現在
2009年10月同社代表退任/退社
2010年1月ソフトキューブ(株)入社~現在(技術顧問)
2017年4月湘南工科大学非常勤講師~現在


[業界団体・学会活動]
電気学会・第四期次世代インタラクティブディスプレイ協同研究委員会(委員)/最先端表現技術利用推進協会・アカデミック部会(旧:三次元映像のフォーラム)(副部会長)/日本バーチャルリアリティ学会ハプティクス研究委員会(委員)/ACM(Professional Member)/情報処理学会(正会員)/3Dコンソーシアム(賛助会員)/URCF(特別会員)

---------------------

前職:立体映像産業推進協議会(幹事)/日本バーチャルリアリティ学会・論文委員会(委員)/3DBiz研究会(個人賛助会員)


[資格]
TOEIC805点
数学検定1級(数理技能)
中型・普自二免許
サッカー4級審判員

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QRコード