历史故事
1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。
随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。
时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。
别人问高斯，你用什么方法计算的，高斯说保密~
藏着掖着长达9年之久，最后高斯将其使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中，而法国科学家勒让德于1806年独立发现"最小二乘法"，但因不为世人所知而默默无闻。两人曾为谁最早创立最小二乘法原理发生争执。1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，见高斯-马尔可夫定理。
公式介绍
最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。
公式如下：
J
(
θ
)
=
1
2
∑
i
=
0
n
(
h
θ
(
x
i
)
−
y
)
(
h
θ
(
x
i
)
−
y
)
J(\theta) = \frac{1}{2}\sum\limits_{i = 0}^n(h_{\theta(x_i)} - y)(h_{\theta(x_i)} - y)
J(θ)=21i=0∑n(hθ(xi)−y)(hθ(xi)−y)
J ( θ ) J(\theta) J(θ)表示损失函数； y y y 表示目标值； h θ ( x i ) h_{\theta(x_i)} hθ(xi) 表示预测函数，即方程、模型、算法。
下面是矩阵表示：
J ( θ ) = 1 2 ( X θ − y ) T ( X θ − y ) J(\theta) = \frac{1}{2}(X\theta - y)^T(X\theta - y) J(θ)=21(Xθ−y)T(Xθ−y)
我教授的代码，100年后，照样可以运行无误！欢迎你加入，深入学习！
代码点亮人生，代码改变世界~
评论记录：
回复评论：