做跟单员的话应该关注哪些网站,硬件开发专业,防静电产品东莞网站建设技术支持,烟台建站软件KNN#xff1a;K最邻近算法#xff08;K-Nearest Neighbor,KNN#xff09;
用特征空间中距离待分类对象的最近的K个样例点的类别来预测。
投票法#xff1a;K 个样例的对数类别。 k1:最近邻分类 k 通常是奇数#xff08;因为我们根据这个K数据判断类别#xff0c;如果…KNNK最邻近算法K-Nearest Neighbor,KNN
用特征空间中距离待分类对象的最近的K个样例点的类别来预测。
投票法K 个样例的对数类别。 k1:最近邻分类 k 通常是奇数因为我们根据这个K数据判断类别如果是偶数可能出现类别对半的情况
基于实例学习不需要训练。 K 最邻近算法步骤 计算待分类对象鱼所有样例点的距离找出 K 个距离最近的点。目前用欧氏距离 通过这 K 个点的投票决定待分类对象的类别。 等权投票 加权投票相似度加权 如图K 3分类结果是三角形 k5分类结果是正方形
如果我们进行了加权即便是K5由于实例点离三角形特别近分类结果也有可能为三角形 如何确定K K 太小对噪音点敏感早点附近的点将都被分错 K太大模型不细致如果 K 是所有样本数那么分类结果将是训练数据中数量最多的类别相当于朴素贝叶斯分类器中只用了先验概率 K权限 模型复杂度和经验风险 交差验证
K-D Tree(K-Dimensional Tree) KD Tree 是一种数据结构。对 k 维空间里的点进行组织存储为树形的数据结构。
KD Tree 为K维空间进行分割主要应用于多维空间关键数据的搜索如范围搜索和最近邻搜索。 图1
如图1空间先按红线分割然后前后两个空间分别按绿色线分割然后在四个空间中再按蓝色线分割 建树 对当前所有点依次按照一个维度的中位数为切分线进行切割,将当前区域分为两个区域小于中位数放到左边大于中位数放到右边。 重复步骤1直到没有点可分停止。 查找方法查找目标为x 在KD 树中自上而下按照建树的规则找 x 对应的叶子节点当做最近点计算当前最近距离。 从该叶节点开始从底向上重复直到根节点计算当前节点的父节点的切分面到 x 的距离如果该距离小于当前前最优距离则在改父节点的另一子区域查找最近点否则忽略该子区域直接到上一层查找。
KD 树练习
数据2,35,49,64,78,17,2
查找最近邻近点4,54,6 图2 图3 注意 图2 示分割维度是依次轮换换着的。 K1:我们需要在KD Tree中维护一个数据只要到分割面距离或者到其他节点的距离小于数组总最大距离就必须计算因有可能存在节点去替换数组中的节点。 KD这个数组我是在前几轮算节点距离时给填满的。
