kok电子竞技

1、模模式识别式识别Pattern Classification第五章第五章: 非参数估计非参数估计统计决策法Bayes决策法参数估计法非参数估计法线性判别函数概率方法几何方法聚类分析非线性判别函数非参数估计非参数估计模式识别，第五章4最大似然估计法和贝叶斯估计法都属于参数化的估计方法要求待估计的类概率密度函数形式已知利用学习样本来估计类概率密度函数中的未知参数在实际应用中，类概率密度函数形式已知的条件并不一定成立，特别是多峰的概率分布，用普通函数难以拟合，这就需要用非参数估计技术非参数估计非参数估计模式识别，第五章5非参数估计非参数估计原理不需获取类类概率密度的函数形式，而是直接利用学习样本估计

2、特征空间任意点的类概率密度的值即直接由学习样本来设计分类器模式识别，第五章6非参数估计非参数估计直方图法直方图（histogram)方法是最为简单和直观的非参数估计法鲑鲑 鱼鱼鲈鲈 鱼鱼模式识别，第五章7非参数估计非参数估计思路用已知类别的学习样本在特征空间x处出现的频度来近似 即： 其中：v为包含X点的区域 一维 v为一直线二维 圆三维 球 四维 超球体vnkXp/)()/(jXP模式识别，第五章8非参数估计非参数估计思路模式识别，第五章9非参数估计非参数估计K为n个样本中落入体积v的样本数。故： 表示单位体积内落入x点邻域的样本在总样本中的比例，可以此来近似样本在X点处的类概率密度值。vn

3、kXp/)(模式识别，第五章10非参数估计非参数估计模式识别，第五章11非参数估计非参数估计问题一若v固定，则当n增大时， 只能表示平均概率，而不是点概率密度 因此，为保证 为点概率密度， 必须有)(Xp)(Xp0 ,vn时)x(p)x(pnn 模式识别，第五章12非参数估计非参数估计模式识别，第五章13非参数估计非参数估计问题二若样本数n固定， 则当 时，则会出现x邻域内不包含任何样本，得出 的错误估计0v0)(Xp模式识别，第五章14非参数估计非参数估计模式识别，第五章15非参数估计非参数估计解决方案考虑让v和k都随n的变化进行调整，即： nnnknk nP xPxvv模式识别，第五章16

4、非参数估计非参数估计显然为保证 的合理性， 应满足如下条 保证 时， 收敛于点概率 密度 保证不出现0概率密度 保证 收敛)(Xp)(Xplim0nnvlim0nnknn)(Xpn)(Xp)(Xpnnknlim模式识别，第五章17非参数估计非参数估计基本方法 非参数估计法Parzen窗口法Kn近邻法模式识别，第五章18非参数估计非参数估计基本方法Parzen窗口法：主动选择vn与n的关系，kn被动确定，指n个样本中落入区域v的样本数kn近邻法：主动选择kn与n的关系， vn被动确定，指包含kn个样本的x邻域模式识别，第五章19Parzen窗口法设样本特征空间为d维， Rn为包含样本X的d维超球

5、体， vn 为其体积， hn为其直径nhdnnvh 模式识别，第五章20Parzen窗口法可以证明，满足前述三个条件的等效条件为： lim0nnvlimnnnv 模式识别，第五章21Parzen窗口法因此，可选择 均能满足条件，其中h1为可调常数 主动选择vn与n的关系后， kn如何确定？ 1nhvn1lognhvn模式识别，第五章22Parzen窗口法如前所述， kn即为n个样本中落入体积vn中的样本数 定义窗函数如下： 其中 ， Xi (i=1,2,n)为学习样本, X为特征空间中的待估密度点1212inininxxhxxhxxh1 0 模式识别，第五章23Parzen窗口法模式识别，第五

6、章24Parzen窗口法矩形窗矩形窗 模式识别，第五章25Parzen窗口法则有 上式即是由学习样本直接估计特征空间X点处概率密度的方法，称为 Parzen窗口法 1nininxxkh 11nnininnknxxPxvnvh模式识别，第五章26Parzen窗口法一种更为合理的窗函数为正态窗 221exp21ninihXXhXX模式识别，第五章27Parzen窗口法正态窗正态窗 模式识别，第五章28Parzen窗口法若采用正态窗，则 21111exp22nininnxxPxnvh模式识别，第五章29Parzen窗口法例：已知某一维模式类的实际概率密度函数为： 试用Parzen窗口法对n=1、n=

7、16、n=256及 情况下的概率密度进行估计。 P x1 -2.5x-2 0.25 0 x20 其他 n 模式识别，第五章30Parzen窗口法解：采用正态窗函数 令 则对一维空间其中 为可调常数211exp22iinnxxxxhh1nhvnnhvhnn11h模式识别，第五章31Parzen窗口法niinininnnnnhxxnhhxxnvvnkxP12111/21exp211 1/)(模式识别，第五章32模式识别，第五章33模式识别，第五章34Parzen窗口法可以看出：当时 ， 可以收敛于任何复杂形式的当n=1时， 即是窗函数的形式当n较小时， 对 的大小较为敏感， 过小则产生噪声性误差，

8、过大则又产生平均性误差n )(Xpn)(Xp)(Xpn)(Xpn1h1h模式识别，第五章35Parzen窗口法所需样本数较多，计算量大，不易求得 的解析表达式当特征空间的维数较大时，实用性差)(Xp模式识别，第五章36Parzen窗口法如何用Parzen窗口法进行分类器设计？获取n个学习样本令 或令 nXXXX,.,3211nhvn1lognhvndnnhv模式识别，第五章37Parzen窗口法当待识别样本到来时，分别计算每一类样本的 ， 即计算对每一类样本重复上述过程，得各类的类概率密度将样本归类到 最大的类别中去nininnhXXnvXP1221exp211)()(Xpn)(Xpn)()(

9、jnPXp模式识别，第五章38Kn近邻法Parzen窗口法的估计效果取决于 样本总数n及 当n较小时，对 较为敏感，即 ：1h1h11hh较大容易产生平均性误差较小则容易产生噪声性误差模式识别，第五章39Kn近邻法其原因是由于 只与总样本数有关，即进行概率密度 估计时，任何x点处的 都是相同的一种合理的选择是对样本出现密度大的x处， 可较。匝久芏冉闲〉膞处， 则相对大一些，这就是近邻法。 1nhvn nPxnvnvnv模式识别，第五章40Kn近邻法模式识别，第五章41Kn近邻法基本原理主动选择 与n的关系， 被动确定，即使得体积 为样本密度的函数，而不是样本总数的函数。可选择 ，该条件

10、可满足： nknvnvnknlimnnk lim0nnkn lim0nnnnkvn Px模式识别，第五章42Kn近邻法 Kn近邻法，有效地解决了Parzen窗口法存在的问题，对平均误差和噪声性误差均有较好的改善 选择 后， 如何计算 ？ nkn 1nnnnknPxvnvnv模式识别，第五章43Kn近邻法 为与x点相邻的 个近邻样本中，与x距离最远的样本所构成的区域，即nvnkdnnvh模式识别，第五章44Kn近邻法用Kn近邻法设计分类器的过程：获取n个学习样本令找到待识样本X处的Kn个近邻 计算Kn个邻近到X的距离，找到最远距离的样本计算邻域的直径 ，计算邻域的体积 nXXXX,.,321nk

11、ndnnhv nh模式识别，第五章45Kn近邻法则对每一类样本重复上述过程，得各类的类概率密度将样本X归类到 最大的类别中去nvvnkXPnnnn1/)()(Xpn)()(jnPXp模式识别，第五章46模式识别，第五章47用Kn近邻法估计后验概率非参数估计法的基本思想是：上式即可以用来估计各类样本的类概率密度，也可以用来估计所有类别样本的概率密度分布。 nnnvnkXP/)(模式识别，第五章48用Kn近邻法估计后验概率设共有C个待识类别，各个类别的学习样本数分别为n1,n2,nC 总的学习样本数为N= n1+n2 + + nC则 表示所有类别样本在特征空间X处的概率密度 其中 为落入体积 中的

12、样本数 NNNvNkXP/)(NkNv模式识别，第五章49用Kn近邻法估计后验概率而联合概率密度 为N个落入 中的样本中属于第i类的样本数 Nik,NvNNiiNvNkXP/),(,模式识别，第五章50用Kn近邻法估计后验概率又由于则后验概率 上式表明，待识样本在x点处属于第i类的后验概率即是落入其近邻体积内第i类样本与落入总样本数之比 )()/(),(XPXPXPNiNiNNNiNiNiNkkXPXPXP,)(),()/(模式识别，第五章51用Kn近邻法估计后验概率Kn近邻准则：设各类总的学习样本为N,令当待识样本x到来时，找出x的 个近邻，其中属于第i类的样本为 ，则： 取 最大的一类为识别结果NkNNkNik,NNiiNkkXP,)/()/(XPiN1,2,.,ic模式识别，第五章52用Kn近邻法估计后验概率近邻法的特点简单，容易实现计算量和计算机存储容量较大多特征，高维空间效率低需要较多的学习样本快速邻近算法：分量邻域法和列表法模式识别，第五章53用Kn近邻法估计后验概率例：模式识别，第五章54用Kn近邻法估计后验概率最近邻准则：取 ，则Kn近邻准则变为：当待识别样本X到来时，找出其最近邻的样本，并将X判为最近邻样本类1Nk