机器学习与统计学——数理统计基本概念
一,随机变量的数学期望
1,定义:设离散型随机变量的分布律为:
P { X = x k } = p k , k = 1 , 2 , 3 P\left \{ X=x_k\right \}=p_k, k=1,2,3 P{X=xk}=pk,k=1,2,3
如果级数 ∑ k = 1 ∞ x k p k \sum_{k=1}^{\infty }x_kp_k ∑k=1∞xkpk 绝对收敛,则级数 ∑ k = 1 ∞ x k p k \sum_{k=1}^{\infty }x_kp_k ∑k=1∞xkpk 的和称为随机变量X的数学期望,简称期望或均值,记为 E ( X ) E(X) E(X),即 E ( X ) = ∑ k = 1 ∞ x k p k E(X)=\sum_{k=1}^{\infty }x_kp_k E(X)=k=1∑∞xkpk
若级数不收敛,则X的数学期望不存在。
同理,随机变量函数的数学期望:
(1)函数离散: E ( Y ) = E [ g ( X ) ] = ∑ k = 1 ∞ g ( x k ) p k E(Y)=E[g(X)]=\sum_{k=1}^{\infty }g(x_k)p_k E(Y)=E[g(X)]=k=1∑∞g(xk)pk
(2)函数连续: E ( Y ) = E [ g ( X ) ] = ∫ − ∞ + ∞ g ( x ) p ( x ) d x E(Y)=E[g(X)]=\int_{-\infty }^{+\infty}g(x)p(x)dx E(Y)=E[g(X)]=∫−∞+∞g(x)p(x)dx
2,期望的性质:
(1)设 C C C是常数,则 E ( C ) = C E(C)=C E(C)=C
(2)设 k k k是常数,则 E ( k ∗ X ) = k E ( X ) E(k*X)=kE(X) E(k∗X)=kE(X)
(3) E ( X 1 + X 2 ) = E ( X 1 ) + E ( X 2 ) E(X_1+X_2)=E(X_1)+E(X_2) E(X1+X2)=E(X1)+E(X2)
(4)设X、Y独立,则 E ( X Y ) = E ( X ) E ( Y ) E(XY)=E(X)E(Y) E(XY)=E(X)E(Y),反过来不成立。
例题:
二、方差
1,定义:设 X X X是一个随机变量,若 E { [ X − E ( X ) ] 2 } E\left \{ \left [ X-E(X) \right ]^{2} \right \} E{[X−E(X)]2}存在,则称上式为X的方差,记为 D ( X ) D(X) D(X)。其实和以前学的方差一样,是对均值差的平方和。
称 D ( X ) \sqrt{D(X)} D(X)为X的均方差或标准差。
同理,得到随机变量函数的方差公式:
(1)X为离散型: ∑ k = 1 ∞ [ X − E ( X ) 2 ] p k \sum_{k=1}^{\infty }[X-E(X)^{2}]p_k k=1∑∞[X−E(X)2]pk
(2)X为连续型: ∫ k = 1 ∞ [ X − E ( X ) 2 ] p k \int_{k=1}^{\infty }[X-E(X)^{2}]p_k ∫k=1∞[X−E(X)2]pk
重要公式:
D ( X ) = E ( X 2 ) − [ E ( X ) ] 2 D(X)=E(X^2)-[E(X)]^2 D(X)=E(X2)−[E(X)]2
2,方差的性质
(1) D ( X ) > = 0 D(X)>=0 D(X)>=0,若C是常数, D ( C ) = 0 D(C)=0 D(C)=0
(2) D ( C X ) = C 2 D ( X ) D(CX)=C^2D(X) D(CX)=C2D(X)
(3)若a、b为常数,X,Y独立,
则 D ( a X ± b Y ) = a 2 D X + b 2 D Y D(aX\pm bY)=a^2DX+b^2DY D(aX±bY)=a2DX+b2DY
三、协方差
1,定义:随机变量X,Y的协方差计算如下: C O V ( X , Y ) = E ( X − E X ) ( Y − E Y ) COV(X,Y)=E(X-EX)(Y-EY) COV(X,Y)=E(X−EX)(Y−EY) = E ( X Y ) − E ( X ) E ( Y ) =E(XY)-E(X)E(Y) =E(XY)−E(X)E(Y)
而COV(X,X)就是DX。
协方差其意义:
度量各个维度偏离其均值的程度。协方差的值如果为正值,则说明两者是正相关的(从协方差可以引出“相关系数”的定义),结果为负值就说明负相关的,如果为0,也是就是统计上说的“相互独立”。
相关系数:
是一个无量纲的量;若 ρ = 0 \rho =0 ρ=0,则X,Y不相关,此时, C O V ( X , Y ) = 0 COV(X,Y)=0 COV(X,Y)=0
相关系数是表征随机变量X与Y直接线性关系紧密程度的量。
1)若 ∣ ρ ∣ = 1 |\rho| =1 ∣ρ∣=1,则X,Y之间以概率1存在着线性关系。
2)若 ∣ ρ ∣ = > 0 |\rho| =>0 ∣ρ∣=>0,越接近0,X,Y之间的线性关系越弱。
3)若 ∣ ρ ∣ = 0 |\rho| =0 ∣ρ∣=0,不相关
2,协方差的性质
(1) C O V ( X , Y ) = C O V ( Y , X ) COV(X,Y)=COV(Y,X) COV(X,Y)=COV(Y,X)
(2) C O V ( a X , b Y ) = a b C O V ( X , Y ) COV(aX,bY)=abCOV(X,Y) COV(aX,bY)=abCOV(X,Y)
(3) C O V ( X + Y , Z ) = C O V ( X , Z ) + C O V ( Y , Z ) COV(X+Y,Z)=COV(X,Z)+COV(Y,Z) COV(X+Y,Z)=COV(X,Z)+COV(Y,Z)
(4) D ( a X + b Y ) = a 2 D X + b 2 D Y + 2 a b C O V ( X , Y ) D(aX+bY)=a^2DX+b^2DY+2abCOV(X,Y) D(aX+bY)=a2DX+b2DY+2abCOV(X,Y)
四、协方差矩阵
1,若 E X k EX^k EXk存在,则称之为X的k阶原点矩;
若 E ( X − E X ) k E(X-EX)^k E(X−EX)k存在,称之为X的k阶中心矩。
所以,EX是一阶原点矩,DX是二阶中心矩。
2,

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)