強化学習

アメリカ人で、機械学習について研究している人と、定期的に会う機会ができました。

最近の雑談から。「reinforcement learningに興味あるか?」と訊かれたので、それはあると言うと、DeepMindの話になりました。AlphaGoが囲碁を制したのは報道されたとおりですが、そのあと彼らは、「汎用AI」へ...

では、「汎用AI」とは?AlphaGoは、いくら強いとは言え、囲碁というルールがあってこその存在です。なので、これは「専用AI」。「汎用AI」とは、自らルールを作り出していく。でも、どうやって?それが、reinforcement learning、日本語では、強化学習と言われるしくみです。

勝手にコミュニケーションを取っていくエージェントとか、彼はさまざまな先端の研究を知っていて、私のヘタな英語でも、大いに参考になります。じゃあ、AIは今後ヒトを超えるのか?そこで、ペンローズの「皇帝の新しい心」を読んだかと訊くと、彼は読んでいて、当時のAIは否定的な面が言われていて、そのようなことが影響しているのではないか、との見解。

私はいまだに、「皇帝の新しい心」には、真実が隠されていると思っていますが、それを詳しく説明するには、私の英語力を超えますから、自然に別の話題となりました。具体的には、トヨタやアップルのAIへの取り組み。
スポンサーサイト

ベイズ統計の理論と方法

ベイズは多少ともかじってきて、ある程度は解ったと思っていました。

しかるに、ある方から、「ベイズ統計の理論と方法(2012)」という本を教えてもらいました。渡辺澄夫先生(東工大)による書籍です。

どれどれと見てみると、私の自信は、見事に砕けました。いきなり3ページに、「逆温度」という用語が出てきて、??

どうも、ベースが物理のようですね。はたして、著者のご出身は物理です。私がこれまで読んできた書物は、どちらかと言うと、情報系の方のものだったのです。

でも、面白そうなので、がんばって読破します!

イラストで学ぶ機械学習 (16)

「イラストで学ぶ機械学習」、第15章は、「オンライン学習」です。これまでも難しかったのが、ついに「発展的話題」に突入!

まず、15.1 受動攻撃学習。これは日本語として意味が取れるのでしょうか。原語は英語なのでしょうから、こちらを知りたい。それから、なぜ二乗ヒンジ損失を使っているのか?

15.2 適応正則化学習では、泣きたくなるような、ガウシアン同士のKLダイバージェンスの計算が登場。170ページ最初の式ですが、さすがにこれを自前で導出する気力も技量もないので、'The Matrix Cookbook'、を参照しました。'The Matrix Cookbook'の関連記事はこちら(↓)。

http://kanouy.blog9.fc2.com/blog-entry-1520.html
http://kanouy.blog9.fc2.com/blog-entry-1494.html

同書の式を導出するには、'The Matrix Cookbook'、式(380)を使えばできます。最後の項の奇妙なd(次元数)は、単位行列のトレースの結果です。

Deep Learning (7)

Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) Hardcover – November 18, 2016.

有志を募り、勉強会をすることにしました。私は怠け者なので、こうでもしないと読まないです。言い出しっぺなので、私が最初の第2~5章を担当しました。

第2章は、Linear Algebraです。ここは基本なので、特に難しくありません。でも、最後に紹介されていたPCAの説明は、面白いです。45~49ページ。つまり、次元の圧縮・伸長をしてやることで、PCAを導こうという試み。通常の線形代数本には載っていないと思います。

でもこれ、どこかでお目にかかったな...そうです!これは、「イラストで学ぶ機械学習」、第13章のやり方です。こちらのほうが、一般的な取り扱いをしています(この扱いは、DL本ではexerciseとなっている)。やはり「イラスト...」は凄い本ですな。

CNN vs RNN

CNNが2012年、画像認識で脅威的な成果をあげ、Deep Learningが一躍注目を浴びたのは、ご存じのとおり。

そののち、動画像の認識にて、RNNという技術が生まれました。これはニューラルネットにフィードバックを入れるものです。理由はわかりますが、なんか面倒くさそうだな、と思っていました。

そうしたところに、最近、Facebook AI Researchが、言語処理の分野ではありますが、RNNを凌駕する成果を、CNNであげました。正確には、そう主張する論文を出した。

CNN対RNN、ちょっと目が離せなくなりました。個人的にはCNNのほうが、やりやすそう。

イラストで学ぶ機械学習 (15)

「イラストで学ぶ機械学習」、第14章は、「クラスタリング」です。

14.1 K平均クラスタリング、はウォーミングアップ。これはさすがにわかっているはず。

14.2 カーネルK平均クラスタリング、14.3 スペクトル・クラスタリング、難しいですが、なんとか頑張って、最後の14.4 調整パラメータの自動決定、へ。私はこの話、てっきりクラスタ数を決めるものとばかり思って読んでいました。だって、159ページのグラフの横軸はkですからね。

あれ、待てよ、クラスタ数はcでした。ではこのkとはなんぞや?これが不思議なことに、「k最近傍類似度」というのがいきなり登場。むむ、これはなんでしょう...敷居が高いです。

続きを読む

イラストで学ぶ機械学習 (14)

「イラストで学ぶ機械学習」、第13章は、「教師なし次元圧縮」です。

13.2 主成分分析、さすがにわかっていると思っていたのですが、なにやら難しいです。139ページ最初の式(なぜ式番号がないのか?)は、以下です。

Σ|TTTxi - xi|2 = -tr(TCTT) + tr(C) --- (1)

むむ、なぜこうなるのか、すぐには解らなかったのですが、最近習得した、トレース計算を試してみました。すると、

式(1) = Σ(TTTxi - xi)T(TTTxi - xi) = Σ(xiTTTT - xiT)(TTTxi - xi) = Σ(xiTTTTxi -2xiTTTTxi + xiTxi) = Σ(-xiTTTTxi + xiTxi) --- (2)

途中で、以下の条件を使いました。

TTT = I --- (3)

ここまでは、たんに展開しただけです。ここで、トレースを入れます(実数なので、トレースを入れても変わらないというワザ)。

式(2) = Σtr(-xiTTTTxi + xiTxi) = -Σ(tr(TxixiTTT)) + Σ(tr(xiTxi)) = -tr(TΣ(xixiT)TT) + tr(Σ(xixiT)) --- (4)

となり、式(4)は式(1)と同じになりました。

Deep Learning (6)

Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) Hardcover – November 18, 2016.

amazon.comから到着いたしました!

パラパラとめくったところでは、数学的にはそれほど難しくなさそうです。活字が多い印象ですね。

イントロに、誰向けの本かが書かれてあります。それによると、1)学生、または2)機械学習を知らないソフトウェア技術者、ということです。

イラストで学ぶ機械学習 (13)

「イラストで学ぶ機械学習」、第12章は、「異常検出」です。

12.1 局所異常因子、12.2 サポートベクトル異常検出、はさっと流し、12.3 密度比に基づく異常検出にチャレンジ。

133ページまでは、すんなりわかったのですが、134ページのアルゴリズムでつまずきました。(a)は、133ページの最大化する関数をαで微分すると、こうなるので、これはよいです。でも、(b)(c)(d)がよくわかりません。

(b)(c)(d)は、133ページの制約条件を、αが満たすように計算しているはずですが、30分くらい考えてもわからないので、(b)の式を、bで内積を取ってみました。つまり、

(α + (1 - bTα)b/(bTb), b) --- (1)

すると、式(1)はイチになりました。なんだ、これは133ページの制約式を満たすように作った式ですね。

これでわかりました。(c)はαから負の要素をなくし、(d)で再度、制約式を満たすようにしているということです。

134ページの女性キャラが、可愛い顔して、とんでもないことを言っています。本書はすばらしいのですが、イラストに騙されてはいけない。

しかし、12.3の手法は面白いです。異常検出に関わることがあれば、この手法を試そうと思います。計算は簡単です。

Dirichlet Process (2)

'Dirichlet process'ですが、先日、数学にお詳しいS氏に、一時間ほどレクチャを受けました。

S氏が参考にされていたのが、以下の書籍です。

佐藤 一誠、ノンパラメトリックベイズ 点過程と統計的機械学習の数理、講談社、2016/4/20

これは、私も買おうと思っていたものです。しかるに、当時は'Gaussian process'を習得したかったのですが、それには言及されていなかったので、購入を控えました。また検討します。

ところで、クラスタ数Kを決めるときに、'Dirichlet process'を使いますが、私は、K=3とかK=5とかが、なにかの拍子に出てくるのだと思っていたのですが、それは間違いですね。無限次元において、各次元での確率が出てくるそうです。その中から、確率の大きなものを何個か選択し、その個数をもってKを決めるようですね。

Introduction to Linear Regression Analysis

下記の本、すなわち、

'Response Surface Methodology: Process and Product Optimization Using Designed Experiments (Wiley Series in Probability and Statistics) 4th Edition (2016)'

に、これでもかと引用されている本、すなわち、

'Introduction to Linear Regression Analysis (Wiley Series in Probability and Statistics) 5th Edition (2012)'

を購入しました。回帰については、これで完全に習得できます。恐らくですが、これ以上に詳しい本はないはず。やっぱり回帰は基本。勉強します。

Deep Learning (5)

ついに、Deep Learningの本格的書物が登場!

Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) Hardcover – November 18, 2016.

別の書物を探していたら、引っかかりました。昨年の登場なんですね。

購入しようと身構えたら、まだ初刷のようです。つまり、誤植が多そう。どうしよう...
(なぜ初刷とわかったか?amazonの'Look inside'で、数字が'10 9 8 7 6 5 4 3 2 1'と並んでいたから)

いろいろと調べたら、合法的にウェブサイトでPDFが取れるようです。まずはこちらを読むようにと推奨しているreviewerもいらっしゃったので、そのようにいたします。当面はPDFを見ます。刷が重なって、誤植がなくなってきたら、購入するかもしれません。

でも、そうなったときにはもう内容が古い?

イラストで学ぶ機械学習 (12)

「イラストで学ぶ機械学習」、第10章は、「確率的分類」です。

最初は、お馴染の「ロジスティック回帰」です。ここでまず躓きました。なぜかというと、PRMLで見られる普通の定式化と少し違うからです(ような気がする)。対数尤度を最大にするということは、それに属するものしか、尤度を考えていないことになりますね。

ここで終わりと思いきや、「最小二乗確率的分類」、というのが登場しました。これは見たことがありません。なんとか数式は追いましたが、なかなか難しいです。少なくとも、自前では導出できないです。ただ、結果はよいのですが、確率が負になる可能性があることから、それをゼロ以上に切り上げたり、最後に正規化したりと、完全に応用寄りの技術ですね。

イラストで学ぶ機械学習 (11)

「イラストで学ぶ機械学習」、第9章は、「アンサンブル分類」。バギングに続き、章の最後は、ブースティングです。

紹介されているのは、アダブースト(AdaBoost)です。よく聞きますが、私はこれまで経験がありません。幸い、アルゴリズムがきちんと説明されていたので、丹念に読みました。これはかなり面白いです。要するに、

1)いま処理中の弱分類器を計算する
2)1)で計算した分類器の重みを計算する
3)各データの重みを計算する

というのを、繰り返します。最初は混乱しましたが、よくできています。

その前で紹介されていた、バギングとの比較が、同じデータセットで確認できます。掲載されている図を見ると、バギングは想定されるものですが、アダブーストのほうは、分類の境界が少し複雑です。理由の解析は難しいですね。

アダブースト、非常に興味深い手法ですが、残念ながら、並列化ができません(原理上そのはず)。対して、より簡単なバギングは、並列化が可能です。並列化のご時世、バギング有利?単純で技術的にはつまらないですが。

イラストで学ぶ機械学習 (10)

「イラストで学ぶ機械学習」、第9章は、「アンサンブル分類」です。

要は、バギングとかブースティングとか言われているものです。簡単な割には性能がよいので、広く使われているようですが、私には未開の領域。

さて、最初のバギングで躓きました。97ページの次式ですが(bは分類器の数)、

f(x) = (1/b)∑φj(x) --- (1)

これが最初、わかりませんでした。φjというのは、ある次元で閾値で切るという、単純な分類器です。これを平均化して、なんで98ページのような複雑な境界を持つ図になるのだろう、と暫し考えてしまいました。

私はおバカで、99ページのmatlabコードを見て、やっとわかりました。この図は、コンタを描いているわけです。なので、φjは、領域を+1と-1に分けるものですが、それを加えてやって、ゼロのところが境界、というわけです。コードはやはり必要?

イラストで学ぶ機械学習 (9)

「イラストで学ぶ機械学習」、第8章は、「サポートベクトル分類」です。

SVM(Support Vector Machine)は解っているつもりでした。実際のところ、8.4までは既知の内容。

しかし、「8.5 ヒンジ損失最小化学習としての解釈」から、雲行きがあやしくなりました。極めつけは、「8.6 ランプ損失を用いたロバスト学習」。ここはかなり難しいです。なんとか、式を追いました。

混乱するところは、元々は以下の定式化のところが、

min∑|vi - fθ(xi)yi| --- (1)

掲載の計算は、以下の式を解いていることです。

min[(1/2)∑wi(viyi - θTΦ(xi))2 + (λ/2)|θ|2] --- (2)

式(1)と式(2)では、yiの位置が変わっているのですが、これでよいのかどうか、すぐに解りませんでした。確かに、yi=±1という前提においては、変わってもよいみたいですが、ちょっと説明が欲しいところです。

cross-entropyの謎

Multiclass logistic regressionにおける、cross-entropyとは、PRMLによると、以下の式で書けます。

E(w1, ..., wK) = -log p(T|w1, ..., wK) = - ΣΣtnk log ynk --- (1)

PRMLでは、式(4.108)です。詳細は、PRMLをご覧ください。

これは、指数関数の<トリック>を利用したものです。つまり、

11 = 1 --- (2)
00 = 1 --- (3)

が成立するので(式(3)をよく間違える)、式(1)のように書くことができる、ということです。

一方では、式(1)自体では、0と1の間の値も入れられますね。たとえば、0.5など。こういう場合を含んでも、式(1)を使っていいんですかね...ちなみに、PRMLの当該箇所には、以下のように書かれてあります。

'This is most easily done using the 1-of-K coding scheme in which the target vector tn for a feature vector φn belonging to class Ck is a binary vector with all elements zero except for element k, which equals one.'

なので、たぶんダメ?でも、ニューラルネットのback propagationでは、これは使われます。定式化が違うんですかね...よくわからないところです。

言語処理学会第23回年次大会 (3)

昨日までの三日間(2017年3月14~16日)、「言語処理学会第23回年次大会」に参加してきました。完全に門外漢(知り合い皆無)。筑波大学・筑波キャンパス・春日エリアにて。ここは元々、図書館情報大学だったところですね。駅チカでウレシイ。

ここでも、機械学習が席巻しているようです。私が聴いた機械学習のセッションふたつは、満員で立ち見状態。

技術としては、単語の分散表現(word2vecなど)は常識、日本語で必須の形態素解析は、MeCabが定番、RNN(Recurrent Neural Network)も常識、LSTM(Long Short-Term Memory)も常識、という具合でした。技術の流れがよくわかりました。

回帰誤差計算の謎 (2)

前回の続きです。記事を書いたあと、某書籍を、再度確認したところ、

y = Xb --- (1)

という主張ではなく、

XTy = XTXb --- (2)

でありました。これはもちろんオッケーです。たいへん失礼いたしました...

行列は、ともすれば、スカラと同じように計算できてしまいますが、式(2)は、部分空間への射影ですね。なので、スカラをかけるのとはわけが違うのでした。油断しました。

ちなみに、某書籍というのは、以下でございます。良書です。

'Response Surface Methodology: Process and Product Optimization Using Designed Experiments (Wiley Series in Probability and Statistics) 4th Edition (2016)'

回帰誤差計算の謎

回帰分析において、観測データyとその推定値y'との差の二乗、すなわち、

(y - y')T(y - y') --- (1)

を計算してみたのですが、なにかおかしい...おヒマなかた、おつきあいください!

Xを計画行列(design matrix)、bを回帰係数の最尤推定値とすると、

y' = Xb --- (2)

が成り立ちます。また、

b = (XTX)-1XTy --- (3)

も成り立ちます。ここまでは、よく知られた結果です。

さて、式(1)を具体的に計算してみましょう。

式(1) = yTy - 2yTXb + bTXTXb --- (4)

式(4)の第3項を計算します。式(3)を使います。

式(4)の第3項 = yTX(XTX)-1XTXb = yTXb --- (5)

ここで、対称行列の逆行列は、対称行列であることを使いました。式(5)を用いると、式(4)は、

式(1) = yTy - yTXb --- (6)

式(2)を式(6)に代入すると、

式(1) = yTy - yTy' = yT(y - y') --- (7)

が得られ、ベクトルyとベクトルy - y'が直交することが示せました。これが最小二乗法の意味です。

----------------------------------

さて、これはよいのですが、某書籍(本BLOGで既に紹介したもの)では、式(4)において、

y = Xb --- (8)

であるから、として、式(4)から直ちに式(6)を導いています。

でも、ちょっと待ってください。式(8)は正しくないです。なぜならば、式(2)が正しいのですから(式(2)と式(8)は相いれない)。でも、式(6)を見ると、結局のところ、式(8)を式(4)に代入していることと同じです。某書籍もそうしている。

確かに結果は正しいのですが、なにかおかしいですよね。でも、どこがおかしいのかわからないです。内積のトリックのような気がしますが...

言語処理学会第23回年次大会 (2)

本日(2017年3月14日)から、「言語処理学会第23回年次大会」に参加します。完全に門外漢です。場所は、筑波大学・筑波キャンパス・春日エリア。

本日のターゲットは、機械学習のふたつのセッションです。それぞれ、三つの発表がございます。やはり、RNN(Recurrent Neural Network)ですかね?

Deep Learning (4)

Deep Learning(DL)、相変わらず注目されていますね。すでに当たり前になりました。

ここで問題になるのが、教師データの必要性です。DLでは、大量のデータが必要ですが、実際のところ、そんなにないのが実情です。

画像の場合、ここで使われ出しているのが、CG画像です。いまのCGは、現実と殆ど変わらない画像が生成できますから、これを教師データとして使おうという試みです。

でも、本当にCG画像は実画像の代わりになるのでしょうか?これは検証されていないはず。なぜならば、実画像が得られるのであれば、もともとCGは使わないですからね。

Paragraph Vector

'word2vec'はもうお馴染の技術で、さまざまなところで使われていますね。ひとつの単語を、ベクトル(たとえば100次元)に変換する技術です。コーパス上のn-gramを利用して、確率(ニューラルネット)を用いて計算します。いわゆる「分散表現」。

この考えを、単語ではなく、パラグラフに適用したものが、たとえば以下。

Quoc Le, Tomas Mikolov, Distributed Representations of Sentences and Documents, 2014.

必要に迫られて、いま読んでいるのですが、よく解りません。この技術は、パラグラフを単語と同じ次元のベクトルに変換するというものですが、パラグラフ自体にはn-gramはないので(パラグラフの中にはあるが)、そもそも単語と同じような計算ができないのではないか、と思われました。それとも、あるパラグラフと、それに隣接する単語間の関係で考えるのかな?

私の理解が乏しいのでしょうが、もう少し考えます。

イラストで学ぶ機械学習 (8)

「イラストで学ぶ機械学習」、第6章は、「ロバスト学習」です。

いろいろと書かれてありますが、結局のところ、62ページの、以下の式が結論です。

θ←(ΦT + λΘ)-1ΦTWy --- (1)

式(1)で、ℓ2損失、Huber損失、Tukey損失、ℓ2制約、ℓ1制約など、あらゆる実装ができます。すごい式です。機械学習の中でも、最強の式のひとつ?

言語処理学会第23回年次大会

完全に門外漢ですが、「言語処理学会第23回年次大会」というのに参加してきます。場所は、筑波大学・筑波キャンパス・春日エリア、会期は、2017年3月13~17日です。私は中ごろに参加の予定です。

なぜこのようなものに参加するのかというと、いま言語処理系をやっているので、その最新動向の調査が目的です。集中した時間が持てるので、新しいものの習得には、このような機会は効率がよいのです。

もちろん、言語処理学会の会員ではありません。つい最近、この学会の存在を知ったので...

LOOCV (4)

LOOCV(Leave-one-out cross-validation)における、裏技計算、これは思いのほか、知られていないのではないでしょうか。

最近知った良書、'Python Machine Learning (2015)'ですが、これにも、LOOCVへの言及があります。良書なので、この驚くべき計算にも触れているのでは、と思われました。

しかるに、当該ページ(177ページ)を見てみると、次のように書いてありました。

A special case of k-fold cross validation is the leave-one-out (LOO) cross-validation method. In LOO, we set the number of folds equal to the number of training samples (k=n) so that only one training sample is used for testing during each iteration. This is a recommended approach for working with very small datasets.

つまり、裏技計算への言及がありません。回帰の計算は一度だけでよいので、別に小さいデータセットではなくてもよいのです。この著者ももしかしたら、知らないのではと疑います。

イラストで学ぶ機械学習 (7)

「イラストで学ぶ機械学習」、第5章は、「スパース学習」です。

スパースにするには、ℓ1ノルムを制約に使いますから、パラメタでの微分ができません(ℓ1ノルムは絶対値)。これをどう処理するかがカギですが、それの計算方法が載っています。

要するに、上から二次式で抑えるわけですが、よく考えますね。面白いやりかたです。参考文献には、より高度なアルゴリズムが紹介されているようですが、私にとっては、本書で紹介されているやりかたで、十分でございます。

LOOCV (3)

これまで書いてきた、LOOCVに関する記事の内容ですが、この結果は、最近得られたものだと思っていました。

そう思った理由ですが、まず、きっかけとなった、「イラストで学ぶ機械学習」は、2013年の出版です。また、これを攻略しようとして教えてもらった、某Kさん紹介のポストは、2015年のもの。そして、このポストのターゲット本は、2013年の出版。

さらには、PRML(2006)、Murphy本(2012)、には、LOOCVに対する言及はありますが、詳しい記載はありません。このような状況証拠から、2012年以降に得られた結果ではないかと思ったわけです。

しかるに、機械学習とは全く関係ない分野の本、すなわち、

'Response Surface Methodology: Process and Product Optimization Using Designed Experiments (Wiley Series in Probability and Statistics) 4th Edition (2016)'

という書籍を、某Kさん(前述の方とは別人)から教えてもらったのですが、同書の39ページに、'PRESS Residuals'として、はっきりと紹介されています。PRESSは、'the prediction error sum of squares'の略です。呼び名はLOOCVではありませんが、同じものです。

さらに、驚くべきことに、この箇所の参考文献として、Alllenという人の、1971年と1974年のものが引用されています。つまり、LOOCVの発祥は、40年以上前のものだったというわけです。この事実、機械学習系の方々は、ご存じなのだろうか?

LOOCV (2)

続きです。以下の、式(1)と式(2)が等しいことを示すのが目的です。

nG = |H~-1Hy|2 --- (1)
Σ(y~k - yk)2 = Σ((y^k - yk) / (1 - xkTM-1xk))2 --- (2)

ノーテーションは、それぞれの引用元をご覧ください。

式(1)と式(2)の左辺は同じことです。問題は右辺ですが、式(1)のHyを計算してやると、なんと、式(2)の分子と同じとなります(実は、自明だった)。さて、残りのH~-1ですが、これは、対角行列の逆行列なので、各対角要素で、対応する分子を割るのと同じです。そして、これは式(2)の分母に等しくなります。というわけで、式(1)と式(2)が等しいことが示せました。

ちなみに、式(2)のMは、引用元では、ΦTΦのことですが、式(1)の引用元のように、(ΦTΦ + λI)であるとしても、大勢に影響はありません。

LOOCV

私の昨日の記事で、騒いでいたからではありませんが、某Kさんが、以下のポストを教えてくれました。

http://efavdb.com/leave-one-out-cross-validation/

要するに、Leave-one-out cross-validation(LOOCV)に関するポストです。まさに私が知りたかった内容です。これには、驚きました。この内容は、正しいと思われます。結論は、同ポストの式(8)。

つまりは、「イラストで学ぶ機械学習」の式(4.4)と、このポストの式(8)が、等しいことを示せればよいわけです。「イラスト...」の式(4.4)とは、以下です。

nG = |H~-1Hy|2 --- (1)

比較のために、nを左辺に持っていきました。ここでHは、以下で定義されます。

H = I - Φ(ΦTΦ + λI)-1ΦT --- (2)

H~は、Hの対角成分だけが格納された行列です。その他の詳細は、同書をご覧ください。

上記ポストの式(8)とは、以下です。

Σ(y~k - yk)2 = Σ((y^k - yk) / (1 - xkTM-1xk))2 --- (3)

Mは共分散行列です。これから、式(1)と式(3)が、同じであることを示します。というか、示したい。
プロフィール

加納裕(かのうゆたか)

Author:加納裕(かのうゆたか)


[略歴]
1983年3月東京工業大学工学部機械物理工学科卒業
1983年4月(株)図研入社
1987年1月同社退社
1987年2月(株)ソリッドレイ研究所を6名で設立、取締役
1994年3月同社退社
1994年4月(株)スリーディー入社
1996年10月同社取締役
1999年12月上海大学兼務教授
2002年10月同社代表取締役
2009年9月ものつくり大学非常勤講師~現在
2009年10月同社代表退任/退社
2010年1月ソフトキューブ(株)入社~現在(横浜オフィス)
2011年11月甲南大学特別講師
2011年11月関西大学特別講師
2012年11月東京理科大学特別講師
2017年4月湘南工科大学非常勤講師~現在


[業界団体・学会活動]
立体映像産業推進協議会(幹事)/電気学会・第二期次世代インタラクティブディスプレイ協同研究委員会(幹事)/三次元映像のフォーラム(幹事、監査)/日本バーチャルリアリティ学会・論文委員会(委員)・力触覚の提示と計算研究会(委員)/ACM/SIGGRAPH(Professional Member)/情報処理学会(正会員、CVIM会員)/3Dコンソーシアム(賛助会員)/3DBiz研究会(個人賛助会員)/最先端表現技術利用推進協会(個人会員)/URCF(特別会員)


[資格]
TOEIC805点
数学検定1級(数理技能)
中型・普自二免許
サッカー4級審判員

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QRコード