KNN两种分类器的python简单实现及其结果可视化比较
1.KNN算法简介及其两种分类器
KNN,即K近邻法(k-nearst neighbors),所谓的k最近邻,就是指最接近的k个邻居(数据),即每个样本都可以由它的K个邻居来表达。kNN算法的核心思想是,在一个含未知样本的空间,可以根据离这个样本最邻近的k个样本的数据类型来确定样本的数据类型。 在scikit-learn 中,与近邻法这一大类相关的类库都在sklearn.neighbors包之中。其中分类器有KNN分类树KNeighborsClassifier、限定半径最近邻分类树的类RadiusNeighborsClassifier以及最近质心分类算法NearestCentroid等等。前两种分类算法中,scikit-learn实现两个不同的最近邻分类器:KNeighborsClassifier基于每个查询点的k个最近邻点实现学习,其中k是用户指定的最近邻数量。 RadiusNeighborsClassifier基于每个训练点的固定半径r内的最近邻搜索实现学习,其中r是用户指定的半径浮点值。关于这两种分类器的差别可以参考KNN算法的KD树和球树进行了解。
2.分类器KNeighborsClassifier的python实现以及结果的可视化
基于scikit-learn的KNeighborsClassifier以及RadiusNeighborsClassifier分类器,本文构建样本数据,采用这两种方法进行分类预测,根据结果画出二者的预测集,从而进行比较。 (1)首先是导入各种库。
import numpy as np
import matplotlib.pyplot as plt
from matplotlib.colors import ListedColormap
from sklearn import neighbors, datasets
import pandas as pd
(2)然后生成样本数据,这里要注意需要生成只有两个特征值的数据集。
from sklearn.datasets.samples_generator
import make_classification
# X为样本特征,y为样本类别输出, 共200个样本,每个样本2个特征,输出有3个类别,没有冗余特征,每个类别一个簇
X, y = make_classification(n_samples=200, n_features=2, n_redundant=0,n_clusters_per_class=1, n_classes=3)
#之所以生成2个特征值是因为需要在二维平面上可视化展示预测结果,所以只能是2个,3个都不行
plt.scatter(X[:, 0], X[:, 1], marker='o', c=y)
plt.show() #根据随机生成样本不同,图形也不同
本次结果生成的三个类别分布如下:
(3)采用KNeighborsClassifier进行分类与预测
clf = neighbors.KNeighborsClassifier(n_neighbors = 15 , weights='distance')clf.fit(X, y)
#用KNN来拟合模型,我们选择K=15,权重为距离远近h = .02
#网格中的步长#确认训练集的边界
#生成随机数据来做测试集,然后作预测
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
np.arange(y_min, y_max, h))
#生成网格型二维数据对
Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
(4)画出不同预测类别的区域地图以及实际训练数据的类别位置
# Create color mapscmap_light = ListedColormap(['#FFAAAA', '#AAFFAA', '#AAAAFF']) #给不同区域赋以颜色cmap_bold = ListedColormap(['#FF0000', '#003300', '#0000FF'])#给不同属性的点赋以颜色#将预测的结果在平面坐标中画出其类别区域Z = Z.reshape(xx.shape)plt.figure()plt.pcolormesh(xx, yy, Z, cmap=cmap_light)# 也画出所有的训练集数据plt.scatter(X[:, 0], X[:, 1], c=y, cmap=cmap_bold)plt.xlim(xx.min(), xx.max())plt.ylim(yy.min(), yy.max())plt.show()
得到结果为:
结果可以看出,预测区域能够涵盖大部分的训练数据,除了少部分训练数据分布异常外(如部分红色点进入绿色区域,蓝色点进入红色区域)。
3.分类器RadiusNeighborsClassifier的python实现以及结果的可视化
其步骤与2中KNeighborsClassifier步骤基本相同,主要是在拟合与预测上采用KNeighborsClassifier分类函数,整个代码为:
clf1 = neighbors.RadiusNeighborsClassifier(10.0, weights='distance')
clf1.fit(X, y)Z1 = clf1.predict(np.c_[xx.ravel(), yy.ravel()])
Z1 = Z1.reshape(xx.shape)plt.figure()
plt.pcolormesh(xx, yy, Z1, cmap=cmap_light)
# 也画出所有的训练集数据plt.scatter(X[:, 0], X[:, 1], c=y, cmap=cmap_bold)
plt.xlim(xx.min(), xx.max())plt.ylim(yy.min(), yy.max())plt.show()
得到结果:
此图与上图相比,还是有不同的,特别是绿色区域范围扩大了。哪种方法比较好呢?从可视化图形不容易看出,可视化只能直观看出二者的结果差异性,最好的评价二者分类优劣的方法就是计算其预测的误差率(loss funtion)或者准确率(预测正确的个数占总数的比例)。
- centos7查看系统版本,查看机器位数x86-64
- 在centos7中添加一个新用户,并授权
- 如何优化coding
- 在PowerShell中使用curl(Invoke-WebRequest)
- linux centos中添加删除修改环境变量,设置java环境变量
- CentOS7下安装mysql5.6修改字符集为utf8并开放端口允许远程访问
- CentOS7下mysql5.6修改默认编码
- 在idea中maven项目jdk编译version总是跳到1.5
- 命令行打印文件树列表: tree
- JavaScript 获取鼠标及元素在页面上的位置
- Spring cache简单使用guava cache
- SpringMVC参数校验(针对`@RequestBody`返回`400`)
- Java8学习(3)- Lambda 表达式
- Java8 in action(1) 通过行为参数化传递代码--lambda代替策略模式
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Android Surfaceview的绘制与应用
- Android SQLite数据库版本升级的管理实现
- Android自定义view实现拖拽选择按钮
- Android 中ViewPager中使用WebView的注意事项
- Android IPC机制Messenger实例详解
- Android开发之文本内容自动朗读功能实现方法
- 深入理解Android中View绘制的三大流程
- Android LocationManager获取经度与纬度等地理信息
- springboot+freemarker+bootstrap快速实现分页功能(含java源码)
- Android 中Volley二次封装并实现网络请求缓存
- Android 实现无网络页面切换的示例代码
- RecyclerVIew实现悬浮吸顶效果
- 小程序地图学习之获取位置 获取经纬度 获取地名 获取地址
- 详解okhttp3 请求头不能为中文的坑
- Android为TextView添加字体库和设置描边的方法