机器学习常用数学概念

常用数学概念苏州大学强化学习讨论班2苏州大学强化学习讨论班常用数学概念高斯函数高斯径向基函数范数方向导数、梯度矩阵、特征值、秩、正定矩阵概率、期望、方差、协方差函数、最小二乘3苏州大学强化学习讨论班高斯函数高斯函数：a：峰值最大值b：峰值x轴偏移量c：弧度跨度如：4苏州大学强化学习讨论班高斯函数高斯函数的不定积分是误差函数。在自然科学、社会科学、数学以及工程学等领域都有高斯函数的身影。5苏州大学强化学习讨论班核函数设x,z∈X，X属于Rn空间，非线性函数Φ实现输入空间X到特征空间F的映射，其中F属于Rm，nm。根据核函数技术有：K(x,z)=Φ(x),Φ(z)(1)其中：,为内积，K(x,z)为核函数。从式(1)可以看出，核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间中计算的“维数灾”等问题。6苏州大学强化学习讨论班核函数常用的核函数有：1）高斯核函数：2）多项式核函数：3）感知器核函数：4）样条核函数：222(,)ixxiKxxe(,)(1),1,2,,diiKxxxxdN(,)tanh()iiKxxxb(,)21()iiKxxBnxx7苏州大学强化学习讨论班径向基函数径向基函数(RadialBasisFunction简称RBF)是某种沿径向对称的标量函数。通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数，可记作k(||x-xc||)，其作用往往是局部的，即当x远离xc时函数取值很小。8苏州大学强化学习讨论班高斯径向基函数最常用的径向基函数是高斯核函数，形式为:其中xi为核函数中心，是计算两个样本的二范数σ为函数的宽度参数，控制了函数的径向作用范围。222(,)ixxiKxxeixx222(,)ixxiKxxe9苏州大学强化学习讨论班高斯径向基函数11exp([][])2()TxcxcBx222(,)ixixeKxx10苏州大学强化学习讨论班高斯径向基函数：二维或者多维状态，：“径”，即函数中心：协方差矩阵，表示了状态各维之间的关系？？xcB11exp([][])2()TxcxcBx11苏州大学强化学习讨论班高斯函数高斯函数是一种函数形式，这种函数形式既可以用来作为核函数，也可以用来作为径向基函数。是计算两个样本的二范数222(,)ixxiKxxeixx12苏州大学强化学习讨论班范数22212222112n12n1122nn2Aa,a,...aBb,b...bABAabababAB||(...)||(..co)s.nnAaaaBbbb设有向量：，的模：的模：、B的内积：(A,B)或者ABAB13苏州大学强化学习讨论班范数(2)||||||||||;()xxR3||||||||||||xyxy()。(1)，当且仅当时，等号成立。0x||||0x、()nxy?R22212||||(,)nxxxxxx显然向量的模具有下列三条性质：||||xx例1维欧氏空间中向量的长度或模定义为xn14苏州大学强化学习讨论班范数(2)()||||||||||;()xxF正齐性3()||||||||||||xyxyxyV（），角不、三等式(1)()||||0;x正定性定义如果是数域上的线性空间，对中的任意向量，都有一个非负实数与之对应，并且具有下列三个条件（正定性、正齐性和三角不等式）：VFxVÎV||||x则称是向量的向量范数，称定义了范数的线性空间为赋范线性空间。||||xxV0||||0xx15苏州大学强化学习讨论班范数例2对任意，由12(,,,)TnnxxxxF1/1,1||||||pnppiixxp=骣琪º琪琪琪桫³å定义的是上的向量范数，称为p-范数或范数。||||pnFpl16苏州大学强化学习讨论班范数例3对任意，由12(,,,)TnnxxxxF121||||||||||nxxxx++º+L定义的是上的向量范数，称为1-范数或范数或和范数。1||||nF1lp=1时，有17苏州大学强化学习讨论班例4对任意，由12(,,,)TnnxxxxF222122||||||||||nxxxx+º++L定义的是上的向量范数，称为2-范数或范数，也称为Euclid范数。2||||nF2lp=2时，有范数18苏州大学强化学习讨论班例5对任意，由12(,,,)TnnxxxxF||||max||iixx¥º定义的是上的向量范数，称为-范数或范数或极大范数。||||nFl在广义实数范围内，P能否取到正无穷大呢？lim||||||||ppxx??¥º可以证明：范数19苏州大学强化学习讨论班范数||||max||iixx¥º令，则有||max||iijxx1/1||||(||||||)||pppjipixxxx1/1/|||()|||pppjnxnx由极限的两边夹法则，并注意到，即得欲证结论。1/lim1ppn证明：20苏州大学强化学习讨论班方向导数讨论函数在一点P沿某一方向的变化率问题．),(yxfz内有定义，的某一邻域在点设函数)(),(),(PUyxPyxfz．引射线自点lP,为的转角轴正向到射线设lx).(),(pUPlyyxxP上的另一点且为并设oyxlPxyq21苏州大学强化学习讨论班方向导数||PP,)()(22yx),,(),(yxfyyxxfz且当沿着趋于时，PPl),(),(lim0yxfyyxxf,z考虑是否存在？22苏州大学强化学习讨论班.),(),(lim0yxfyyxxflf记为定义与函数的增量),(),(yxfyyxxf22()()PPxy、两点间的距离之比值，时，趋于沿着当PlP如果此比的极限存在，Pl则称这极限为函数在点沿方向的方向导数．方向导数23苏州大学强化学习讨论班证明略sincosyfxflf定理是可微分的，在点如果函数),(),(yxPyxfz，方向的方向导数都存在那么函数在该点沿任意且有的转角。轴到方向为其中Lx方向导数24苏州大学强化学习讨论班方向导数同理：当函数在此点可微时，那末函数在该点沿任意方向L的方向导数都存在，且有.coscoscoszfyfxflf设方向L的方向角为,,,cosx,cosy,cosz推广可得n元函数方向导数的定义25苏州大学强化学习讨论班梯度定义内具有在平面区域设函数Dyxfz),(?:最快沿哪一方向增加的速度函数在点问题P,jyfixf),(yxgradfjyfixf一阶连续偏导数，DyxP),(则对于每一点都可定义出一个向量这向量的梯度，在点称为函数),(),(yxyxfz记为26苏州大学强化学习讨论班梯度sincosyfxflf}sin,{cos},{yfxfeyxgradf),(,cos|),(|yxgradf其中)),((,eyxgradf当1)),,(cos(eyxgradf时，lf有最大值.设jiesincos是方向l上的单位向量，由方向导数公式知27苏州大学强化学习讨论班梯度22|),(|yfxfyxgradf结论当xf不为零时，gradfgradfP函数在某点的梯度是这样一个向量，它的方向与取得最大方向导数的方向一致,而它的模为方向导数的最大值．梯度的模为tan/ffyxx轴到梯度的转角的正切为28苏州大学强化学习讨论班),(yxfz在几何上表示一个曲面曲面被平面所截得cz,),(czyxfz所得曲线在xoy面上投影如图oyx2),(cyxf1),(cyxfcyxf),(等高线),(yxgradf梯度为等高线上的法向量P梯度29苏州大学强化学习讨论班梯度sinzxy等高线30苏州大学强化学习讨论班梯度),(),(yxPyxfz在点函数的等的梯度的方向与点P在这点的法高线cyxf),(从数线的一个方向相同，且值较值较低的等高线指向数模等高的等高线，而梯度的的方于函数在这个法线方向向导数．梯度与等高线31苏州大学强化学习讨论班梯度结论：在点的梯度为在该点增长最快的方向00(,)xy(,)zfxyzjyfixf32苏州大学强化学习讨论班梯度.),,(kzfjyfixfzyxgradf三元函数的梯度也是一个向量，(,,)ufxyzG在空间区域内具有一阶连续三元函数偏导数，，则对于每一点GzyxP),,()(梯度都可以定义一个向量其方向与取得最大方向导数的方向一致，其模为方向导数的最大值.33苏州大学强化学习讨论班矩阵-特征值与特征向量34苏州大学强化学习讨论班矩阵-特征值与特征向量35苏州大学强化学习讨论班矩阵-特征值与特征向量36苏州大学强化学习讨论班矩阵-特征值与特征向量37苏州大学强化学习讨论班矩阵-秩及其求法38苏州大学强化学习讨论班矩阵-秩及其求法39苏州大学强化学习讨论班矩阵-秩及其求法40苏州大学强化学习讨论班矩阵-秩及其求法41苏州大学强化学习讨论班矩阵-秩及其求法42苏州大学强化学习讨论班矩阵-秩及其求法43苏州大学强化学习讨论班矩阵-秩及其求法44苏州大学强化学习讨论班矩阵-秩及其求法45苏州大学强化学习讨论班合同．定义4设有两个n阶矩阵,AB,如果存在一个可逆矩阵C使得TBCACBA,则称矩阵与合同关系是矩阵之间的又一重要关系，它是研究二次型的主要工具．合同关系具有以下性质：性质1A与自身合同．A性质2若合同,则BA与合同.BA与性质3若合同,B与合同,则BC与合同.A与CA合同矩阵46苏州大学强化学习讨论班定义5含有n个变量的二次齐次函数22212111222121213131,1(,,,)222nnnnnnnnfxxxaxaxaxaxxaxxaxx称为二次型jiijaa取2ijijijijjijiaxxaxxaxx则那么，实二次型可以写成：正定矩阵47苏州大学强化学习讨论班1112112111221212,,,nnnnnnnnaaaxaaaxxxxaaax212111121211221212222221122(,,,)nnnnnnnnnnnnfxxxaxaxxaxxaxxaxaxxaxxaxxax111212111212nnnnnnaaaaaaAaaa12nxxxx则二次型可记作记TfAxx48苏州大学强化学习讨论班任给一个二次型，就惟一确定一个对称矩阵；反之，任给一个对称矩阵，也可惟一确定一个二次型．这样，实二次型与实对称矩阵之间存在一一对应关系．因此，我们把对称矩阵叫做二次型的矩阵，也把叫做对称矩阵的二次型．对称矩阵的秩就叫做二次型的秩．AffAAf22112233243fxxxxxx例如112323110,,102023xfxxxxx可表示为49苏州大学强化学习讨论班正定矩阵1：对称阵A为正定的充分必要条件是：A的特征值全为正。2：对称阵A为正定的充分必要条件是：A的各阶顺序主子式都为正。3：任意阵A为正定的充分必要条件是：A合同于单位阵。50苏州大学强化学习讨论班期望一个班有40个学生，考80分的概率是20%，考70分的概率是50%，考60分的概率是30%这个班的平均分是多少？求平均方法：总分数/总