一点题外内容:假设检验方法的用处在于让我们知道在观测到目前样本的情况下,除了初始假设之外,是否还有更加可能的某种其它原因。
零假设就是一个随机判定规则- 即选择一个样本,就根据某个先验概率P把它归为一个类别,如果一种候选规则同随机判定规则有显著差别,就说它是有用的。
空间的线性变换—例如平移(移动原点),旋转,反射,拉伸 ,压缩 ,或者这些的组合;还有其它的变换—可以通过它们在向量上的作用来可视化。
------------------------------
提及高斯函数,不得不提及其产生于的随机误差理论。
随机 误差的概念最先有伽利略在《关于两个主要世界系统的对话》中提出,在他的设想里,误差分布函数f(x)满足关于y轴对称,且随|x|的增加而递减。在勒让德的理论中,通常的算术平均值是方程组的未知数为一个时的特例,但这只是代数意义上的算术平均值的优良性,后来辛普森((Thomas Simpso)在《在应用天文学中取若干观测平均值的好处》中第一次从概率的角度严格证明算术平均的优良性(当时只是基于一种简单的误差分布假设)。
拉普拉斯直接考虑误差理论的基本问题,取怎样的分布为误差分布,以及在确定误差分布后,如何根据未知量的测量结果来估计其值。拉普拉斯给出与伽利略的随机误差相似的误差分布条件。
1. f(x) = f(-x), x是误差值
2. x->无穷,f(x)->0
3. f(x)的全定义域积分等于1
有很多函数满足这三条性质,为确定其一,他做了如下推理,条件2表明,曲线f(x)随着x(x>0)的增加越来越平缓,因而其下降率 -f'(x)也应随x的增加而下降,设-f‘(x) = mf(x), x>=0,m>0且为常数,可解得f(x) = ce^-mx由f(x) = -f(x), f(x) = ce^mx,x<0.再由f(x)积分=1,得c=m/2,f(x)=m/2*e^-m|x|.
拉普拉斯在得到误差密度函数后,就希望去通过能利用这个函数去估计真值。但是在当时的数学发展情况,我们现在熟知的点估计方法,矩法估计和似然估计都没有,拉普拉斯在他的“不充分推理”原则的基础上,得到是十分复杂的方程,不可能有实际的应用价值,他自己也认识到那个问题。
高斯在研究误差理论的时候,以及其简短的手法,推导出了正态分布密度函数:
假设x的误差分布函数为f(x)
L(X) = L(X; x1,x2...xn)= f(x1-X)f(x2-X)..f(xn-X)
这个过程中,高斯有两点创新:
1。 不采取贝叶斯式的推理方法,而是把使上式达到最大值的X = X(x1, x2,..xn)作为 X 的估计。
2。把问题倒过来,先承认算术平均是X应取的估计,然后再去找f(x)迎合这一点,即使算术平均是那个使上式子达到最大值。(算术平均是一个经历千百年考验的方法,故此一个一般方法如果是合理的,他应该在重复测量的情况下导出算术平均,因为最小二乘法具有这一特性,使我们对其合理性增添了信心,哈哈。高斯在研究测量误差的时候顺便也导出了最小二乘法)
对上式L(x)两边求对数,记 X 为算术平均。
记g(x) = f'(x)/f(x), 当我们取n = 2时,那么X应满足g(x1 - X ) + g(x2 - X ) = 0, 因为x1 - X = X - x2 , 所以g(-x) = - g(x), g(0) = 0.
现在令n=m+1,而
x1 = x2 =... xm= -x;
xm+1 = mx;
则 X = 0, g(mx) = mg(x). 假定g连续,不难推出g(x) = cx.因为g'(mx) = g'(x). 接下来显然g‘(x)=c .后面不难解得f(x)=Me^cx^2,f(x)积分为1, c便为一负数,记c为-1/h^2.正态分布的形式就不难求解了。
----------在20091104又发现上面记号里有些许错误,修正及修改衔接描述
这里可以看作必要性 的推导,虽然不知道高斯是不是这样推导的(根本搜不到相应的资料,要么可能有用的就是收费的,跑了上海书城一趟有用的东西也没翻到,都知道的东西你写本书我也写本书。还有人发表的文章上用的记号都似不对的,看得我郁闷了一个星期,直让我怀疑,是我太笨还是这东西太神秘)。
其实正态分布函数并不是首先来源高斯,只是首先被高斯用于误差分析领域,才慢慢发挥出巨大的作用,e这个东西在数学上很奇妙哈,我想这与三角函数,无穷级数,欧拉等等的研究的很有关系。
顺藤摸瓜的看了不少东西,到后来却发现没什么好写的 。顺便再说点,为什么高斯函数的曲线叫钟形曲线,首先有人研究命名了钟形曲面,记得外国的教堂的钟和旅馆里的服务台上的小铃铛吧,后来才有钟形曲线。
-------------------------------
两个高斯函数的卷积仍然是一个高斯函数,也就是说两个正态随机变量的和(z=x+y) 还是服从正态分布。卷积是其中一个函数翻转并平移后与另一个函数的乘积对于平移量的积分。
卷积最初为研究信号的零状态响应而来,有人说相关和卷积很像,的确,但他们又是两个完全不同的概念。相关最早是用来概率论中描述随机变量之间关系的概念,如相关系数。实际上信号一般是一个随机过程,为了实现信号的检测、识别与提取,经常要了解两个信号的相似性,或一个信号经过一段延迟后自身的相似性。但相关系数有缺陷,因为分子是两个信号的内积,如sinx和cosx,从波形上看只是相位不同,而相关系数为零(因为正弦和余弦正交),因此引进相关函数,将原来两函数直接内积改为一个函数和另一个函数的延迟作内积,所以和卷积公式很像,但其中每个量的物理意义是不同的。
--------------------
卷积如果再拓展一下:卷积的结果定义了一个新函数,这点在核函数里有充分体现,由卷积得到的函数f*g 一般要比f 和g 都光滑。特别当g 为具有紧致集(对应的空间稠密)的光滑函数,f 为局部可积时,它们的卷积f * g 也是光滑函数。利用这一性质,对于任意的可积函数f,都可以简单地构造出一列逼近于fs,这种方法称为函数的光滑化或正则化。卷积的概念还可以推广到数列、测度(为了积分推广)以及广义函数上去。
-------------------Added at 2009-03-31
服从多元正态分布的数据样本趋向于聚集在均值向量周围,形成一个以协方差矩阵的各本征向量为主轴的椭球形云团。二元的分布密度函数对应于代数里的二次型,因为它还是正态分布,所以它是一个“馒头山”,只有一个峰。这样研究极值就有意义了。
分享到:
相关推荐
但是我想提高我的函数式编程技能。 另外,由于jit编译和自动批处理,Jax的速度要快得多。 因此,它可以更轻松地处理编程中的一些困难方面。 同样,只需稍作更改即可将相同的代码用于CPU,GPU和TPU。 总体而言,我...
清华大学-学堂在线 大数据机器学习课件笔记系列:概述、机器学习的基本概念、模型性能评估、感知机、聚类、贝叶斯分类器及图模型、决策树和随机森林、逻辑斯谛回归与最大熵模型、支持向量机 SVM、核函数与非线性 SVM...
混合高斯背景建模,运动检测。 建模函数是自己编写的,原理简单,便于学习,有详细注释。 处理视频是用笔记本摄像头实时采集的画面。
matlab三次样例条码值编程代码我最初编译这些说明是为了自己使用,以便在需要时快速访问MATLAB概念...对于具有2个变量的函数f,分别具有初始值x1和x2 newton( ' f ' ,[x1;x2]) 拟牛顿法:使用雅可比近似 正割方法:一个
【第6讲】 事件模型、函数间隔与几何间隔 【第7讲】 最优间隔分类器、拉格朗日对偶、支持向量机 【第8讲】 核方法、序列最小优化算法 【第9讲】 经验风险最小化 【第10讲】 交叉验证、特征选择 【第11讲】 贝叶斯...
【第6讲】 事件模型、函数间隔与几何间隔 【第7讲】 最优间隔分类器、拉格朗日对偶、支持向量机 【第8讲】 核方法、序列最小优化算法 【第9讲】 经验风险最小化 【第10讲】 交叉验证、特征选择 【第11讲】 贝叶斯...
可选 6、8、12阶三种不同的高斯窗函数实现对离散采样点的滤波 广泛应用于各种功率衰减滤波,程序中还提供了离散数据的稠密程度的控制 刚开始学习 MFC,整理了点算法笔记 斑驳敬上
假设我们有一个关于潜在函数的高斯过程模型: 模型的超参数在哪里。 假设我们有一个观测数据集和一个测试点。 此函数返回相关观察值和潜在函数值的近似边际预测分布的均值和方差: 我们已经边缘化了超参数。 笔记 此...
cvinvoke.二值化灰度化,卷积,高斯函数,通道分离。。。反正书上比较有的都有写
DFT的matlab源代码OpenCVFFTBasedGaussianFilter 该代码是OpenCV使用cv :: dct函数进行DFT过滤的示例。 笔记 该代码包含两个演示。 一种是基于FFT的卷积...通过不使用FFT的直接生成来修改高斯内核的生成函数。
14 模式识别与机器学习工具箱 15 ttsbox1.1语音合成工具箱 16 分数阶傅里叶变换的程序FRFT 17 魔方模拟器与规划求解 18 隐马尔可夫模型工具箱 HMM 19 图理论工具箱GrTheory 20 自由曲线拟合工具箱ezyfit 21 分形维数...
笔记GMM.m是主要的.m文件。 用户定义数据集的真实均值,方差和比例,然后在GaussianNormalDist.m中随机生成。 负对数可能性目标函数是通过GMM_negloglik.m计算的。 在获得EM估计值之后, optimtool将使用Nelder-Mead...
贝叶斯推理Wolfram语言在贝叶斯推理和高斯过程回归中的应用。 这是一个实现嵌套采样算法的程序包,与John Skilling在他的2006年论文“用于通用贝叶斯计算的嵌套采样”(贝叶斯分析,第1号,第4期,第833-860页)中...
内容章节概述视频: : 笔记本: 第2章:向量和矩阵的定义视频: : 笔记本: 第2章:线性度视频: : 笔记本: Chapter02_linearity_intuition.ipynb 第3章:高斯-乔丹淘汰赛和减少排梯队形式视频: ...
画出深度学习中使用的四个常用激活函数。 损失趋势 显示深度学习训练的损失趋势,并在其上画出回归线。 多分支损失 绘制多任务深度学习损失,以及一条回归线以显示趋势。 多分支精度 得出多任务深度学习的准确性。
模块,matplotlib,numpy 线性方程式:高斯消去,LU分解,直接/迭代方法曲线拟合:最小二乘拟合,多项式插值,样条曲线寻根:图形,二等分,牛顿-拉夫森数值微分:有限差分; 错误分析数值积分:Newton-Cotes公式,...
一时间好奇了下,就多试了几个函数,以下是详细的笔记 定义 filter 属性定义了元素(通常是)的可视效果(例如:模糊与饱和度)。 分类 none 默认值,没有效果。 blur() 高斯模糊 brightness() 亮度 contrast() 对比度 ...
Curves.py文件包含几个函数,每个函数都将参数化x和参数u,v作为输入来计算切线向量,单位法向向量,第一和第二基本形式,高斯和平均曲率,矩阵的形式高斯图的微分和主曲率。 Compute_Curvatures.ipnyb是Jupyter...
一对多分类 正则化 过度拟合 正则线性回归 正则Logistic回归 第四周 神经网络 介绍 神经元和大脑 神经元模型:逻辑单元(感知器) 前向传播:矢量化实现 多个输出单元 第五周 神经网络:学习 成本函数 反向传播算法 ...
函数[A,mu,sigma,w,loglAll] = ifaEM_my(X,IDX0,numGauss,parsEM,文件名) EM算法学习积分变量集合上的混合矩阵 输入: X:数据点 IDX0:每一列表示每个数据集中变量的索引; numGauss:每个分量的高斯数 ...