最小二乗法 (4)

「AIのための数学」に続く企画として、「最小二乗法」をドラフトとしてまとめました。全5回です。

第1回： 正規方程式
第2回： 多変数2次関数
第3回： 特異値分解・一般逆行列
第4回： 曲線のあてはめ
第5回： レーベンバーク・マーカート法

最初に、最小二乗法を行列とベクトルとして記述し、逆行列で一気に解けることを示します。これが基本。

そのあとは、それを支える2次関数のおさらいや、その他の知っておいたほうが便利な技法の説明をします。このあたりは好みにもよりますね。

ゴールは、非線形最小二乗法の定番、Levenberg–Marquardt法（LM法）。最小二乗法のトリにふさわしい、優れた手法です。最適化本でも、最後に載っているものです。