FC2ブログ

回帰誤差計算の謎

回帰分析において、観測データyとその推定値y'との差の二乗、すなわち、

(y - y')T(y - y') --- (1)

を計算してみたのですが、なにかおかしい...おヒマなかた、おつきあいください!

Xを計画行列(design matrix)、bを回帰係数の最尤推定値とすると、

y' = Xb --- (2)

が成り立ちます。また、

b = (XTX)-1XTy --- (3)

も成り立ちます。ここまでは、よく知られた結果です。

さて、式(1)を具体的に計算してみましょう。

式(1) = yTy - 2yTXb + bTXTXb --- (4)

式(4)の第3項を計算します。式(3)を使います。

式(4)の第3項 = yTX(XTX)-1XTXb = yTXb --- (5)

ここで、対称行列の逆行列は、対称行列であることを使いました。式(5)を用いると、式(4)は、

式(1) = yTy - yTXb --- (6)

式(2)を式(6)に代入すると、

式(1) = yTy - yTy' = yT(y - y') --- (7)

が得られ、ベクトルyとベクトルy - y'が直交することが示せました。これが最小二乗法の意味です。

----------------------------------

さて、これはよいのですが、某書籍(本BLOGで既に紹介したもの)では、式(4)において、

y = Xb --- (8)

であるから、として、式(4)から直ちに式(6)を導いています。

でも、ちょっと待ってください。式(8)は正しくないです。なぜならば、式(2)が正しいのですから(式(2)と式(8)は相いれない)。でも、式(6)を見ると、結局のところ、式(8)を式(4)に代入していることと同じです。某書籍もそうしている。

確かに結果は正しいのですが、なにかおかしいですよね。でも、どこがおかしいのかわからないです。内積のトリックのような気がしますが...
スポンサーサイト



コメントの投稿

非公開コメント

プロフィール

加納裕(かのうゆたか)

Author:加納裕(かのうゆたか)


[略歴]
1983年3月東京工業大学工学部機械物理工学科卒業
1983年4月(株)図研入社
1987年1月同社退社
1987年2月(株)ソリッドレイ研究所を6名で設立、取締役
1994年3月同社退社
1994年4月(株)スリーディー入社
1996年10月同社取締役
1999年12月上海大学兼務教授
2002年10月同社代表取締役
2009年9月ものつくり大学非常勤講師~現在
2009年10月同社代表退任/退社
2010年1月ソフトキューブ(株)入社~現在(技術顧問)
2017年4月湘南工科大学非常勤講師~現在


[業界団体・学会活動]
電気学会・第四期次世代インタラクティブディスプレイ協同研究委員会(委員)/最先端表現技術利用推進協会・アカデミック部会(旧:三次元映像のフォーラム)(副部会長)/日本バーチャルリアリティ学会ハプティクス研究委員会(委員)/ACM(Professional Member)/情報処理学会(正会員)/3Dコンソーシアム(賛助会員)/URCF(特別会員)

---------------------

前職:立体映像産業推進協議会(幹事)/日本バーチャルリアリティ学会・論文委員会(委員)/3DBiz研究会(個人賛助会員)


[資格]
TOEIC805点
数学検定1級(数理技能)
中型・普自二免許
サッカー4級審判員

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QRコード