根据解的存在情况,线性方程 Ax=b 可以分为恰定方程组
(有唯一解),超定方程组
(解不存在), 和欠定方程组
(有无穷多解)。这个问题从线性空间的角度去分析,可以看成矢量b在A张成的线性空间的投影问题。 一个形象的解释是,已知不重合的两个点,要求过这两点的一条直线,那么我们可以唯一的确定这条直线。如果给定三个点,且这三个点正好在一个直线上,这条直线仍然可以唯一确定,如果三点不在同一直线,这就是超定问题。最后,如果只给定一个点,显然是欠定问题。在实验数据处理和曲线拟合(curve fitting)问题中,求解超定方程组非常普遍。比较常用的方法是最小二乘法(least squares)。形象点,就是在无法完全满足给定的这些条件的情况下,求一个最接近的解。
天文学从古代到18世纪是应用数学中最发达的领域,观测和数学天文学给出了建立数学模型及数据拟合的最初例子,在此种意义下,天文学家就是最初的数理统计学家。天文学的问题逐渐引导到算术平均,以及参数模型中的种种估计方法,已最小二乘法为顶峰。这段话可以看出一丝数学发展的脉络,有源之水,才不断流动。
A.M.Legendre(勒让德)在考虑误差整体上平衡的基础上,从解方程的角度发明了最小二乘法,先前的前辈们都致力于找出几个方程(个数等于未知数个数)再去求解。从某种意义讲,最小二乘法是一个处理观测值的纯粹代数方法。要将其应用于统计推断问题就需要考虑观测值的误差,确定误差分布的函数形式
。(在这里还是纯粹代数方法)。勒让德的推导过程比较好找也比较好理解,就不写在这里了。
高斯的最小二乘法理论发表与他导出正态误差分布时,其实现在看来最小二乘法很平常,但是当时天文学家可能并不相信统计平均,maybe一个更“合理”的观测值更有意义。
其实我对于高斯如何导出误差正态分布(把正态分布引入到误差分布)更有兴趣,经过多方的查找,更新了下以前的一篇文章,写在那里更合标题吧。
分享到:
相关推荐
多元回归-最小二乘法-残差分析笔记 一.多元线性回归模型的假设 我们需要进行以下六个假设,这些假设是经典的多元线性回归模型有效的前提: 1、因变量Y和自变量X1,X2,…,Xk之间的关系是线性的。 2、自变量(X1,X2...
设计模式学习笔记--Flyweight享元模式.docx设计模式学习笔记--Flyweight享元模式.docx设计模式学习笔记--Flyweight享元模式.docx设计模式学习笔记--Flyweight享元模式.docx设计模式学习笔记--Flyweight享元模式.docx
Python学习笔记--皮大庆,非常适合零基础入门。对应英文版本《How to think like a computer scientist》
设计模式学习笔记-命令模式
Java 版设计模式学习笔记-java-design-patterns
企业应用架构模式学习笔记--分层和并发
概率论与数理统计-手写笔记-期末考试复习概率论与数理统计-手写笔记-期末考试复习概率论与数理统计-手写笔记-期末考试复习概率论与数理统计-手写笔记-期末考试复习概率论与数理统计-手写笔记-期末考试复习概率论与...
HotApp云笔记 - 精品开源demo-基于免费API(源代码+截图)HotApp云笔记 - 精品开源demo-基于免费API(源代码+截图)HotApp云笔记 - 精品开源demo-基于免费API(源代码+截图)HotApp云笔记 - 精品开源demo-基于免费API(源...
2004考研通信原理笔记--续大我2004考研通信原理笔记--续大我2004考研通信原理笔记--续大我2004考研通信原理笔记--续大我2004考研通信原理笔记--续大我2004考研通信原理笔记--续大我
C++20设计模式学习笔记-第7章桥接模式学习代码
《技术人的管理之路》读书笔记 --思维导图 《技术人的管理之路》读书笔记 --思维导图 《技术人的管理之路》读书笔记 --思维导图 《技术人的管理之路》读书笔记 --思维导图 《技术人的管理之路》读书笔记 --思维导图 ...
Head First设计模式读书笔记-DesignPatterns
嵌入式Liunx应用程序开发笔记-代码.zip嵌入式Liunx应用程序开发笔记-代码.zip嵌入式Liunx应用程序开发笔记-代码.zip嵌入式Liunx应用程序开发笔记-代码.zip嵌入式Liunx应用程序开发笔记-代码.zip嵌入式Liunx应用程序...
Java基础每日复习笔记-JavaSE高级阶段.2020-10-13-211312.edf
信息系统项目管理师考试必过笔记---第十章-项目时间进度管理.docx信息系统项目管理师考试必过笔记---第十章-项目时间进度管理.docx信息系统项目管理师考试必过笔记---第十章-项目时间进度管理.docx信息系统项目管理...
信息系统项目管理师考试必过笔记---第十章-项目时间进度管理.pdf信息系统项目管理师考试必过笔记---第十章-项目时间进度管理.pdf信息系统项目管理师考试必过笔记---第十章-项目时间进度管理.pdf信息系统项目管理师...
统计学习方法笔记-基于Python算法实现源码.zip 统计学习方法笔记-基于Python算法实现源码.zip 统计学习方法笔记-基于Python算法实现源码.zip 统计学习方法笔记-基于Python算法实现源码.zip 统计学习方法笔记-基于...
通信电子电路(高频-模电PLUS)-手写笔记-期末考试复习通信电子电路(高频-模电PLUS)-手写笔记-期末考试复习通信电子电路(高频-模电PLUS)-手写笔记-期末考试复习通信电子电路(高频-模电PLUS)-手写笔记-期末考试...
根据《Redis笔记-尚硅谷周阳V1.3》整理,脑图、思维导图xmind