利用箱线图巧剔异常值
时间:2022-07-23
本文章向大家介绍利用箱线图巧剔异常值,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
每个研究生都盼望着“天天有数据,年年发文章”,但有时候我们会发现实验数据中存在一些不合理的值。剔除这些异常值的办法有很多,在这里小编教大家使用箱线图剔除异常值。
使用箱线图剔除异常值的标准很简单,超出箱线图上限和下限的值即为异常值。
那什么是箱线图的上限和下限呢?首先让我们来理解几个概念。
上四分位数(Q1):所有数值由小到大排列后位于第75%位置的数字。
下四分位数(Q3):所有数值由小到大排列后位于第25%位置的数字。
四分位间距(IQR):上四分位数减下四分位数。(Q1-Q3)
上限即为非异常值范围内的最大值。(Q1+1.5*IQR)
下限即为非异常值范围内的最小值。(Q3-1.5*IQR)
根据上述箱形图剔除异常值的标准,小编写了一个脚本,可以快速去除异常值。
脚本储存在https://github.com/biozhp/boxplot_iqr (点击阅读原文即可下载),下载解压后即可使用。
输入文件为以“tab”为分隔符的文本文件。第一列为样本名称,第二列为数值。
## 该脚本须在Linux环境下使用,并安装有Python及R语言
sh ./run_pipline.sh ./input.txt ./out_name
脚本执行完成后即可获得剔除异常值后的文件(out_name.iqr.txt)。
参考资料:
R语言实战(第2版)122-123页
https://blog.csdn.net/clairliu/article/details/79217546
https://www.jianshu.com/p/76d872022dd8
- 机器学习实战 | 第五章:模型保存(持久化)
- Python编程任务 | 斯坦福CS231n-深度学习与计算机视觉课程
- ofbiz实体引擎(二) delegator实例化具体方式
- ofbiz实体引擎(一) 获取Delegator
- 12个非常实用的JavaScript小技巧
- 关于PHP浮点数精度损失问题
- FreeMarker与JSP 2.0 + JSTL组合进行比较
- 从零开始学设计模式(1):基础编程模式
- 机器学习实战 | 第四章:模型验证和选择
- ofbiz中FreeMarkerWorker的makeConfiguration方法
- 后台进程(守护进程)自动备份PostgreSQL数据库
- 了解这些PHP小技巧吗?
- 结构体字节对齐
- 在Atom中设置Python开发环境
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法