ERROR Shell:396 - Failed to locate the winutils binary in the hadoop binary path java.io.IOE...
时间:2022-07-25
本文章向大家介绍ERROR Shell:396 - Failed to locate the winutils binary in the hadoop binary path java.io.IOE...,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
ERROR Shell:396 - Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable nullbinwinutils.exe in the Hadoop binaries.
文章目录
1. 错误描述
刚配置完 windows 的 pySpark 开发环境,cmd
执行 pyspark
报这个错误,貌似不影响使用,但是看着是真的难受。
2. 解决步骤
2.1 下载对应版本的 hadoop 文件并解压配置。
下载所安装的 Spark 版本对应的 Hadoop 版本的压缩包,找个目录进行解压。
比如我当时解压安装的是 spark-2.3.1-bin-hadoop2.6.tgz
,那么我就要下载 hadoop2.6.x 的版本。
2.2 copy
文件到 Sysytem32
下
将 xxxxhadoop-2.6.5bin
下的 hadoop.dll
文件和 winutils.exe
文件拷贝到 C:WindowsSystem32
下面各一份(若有文件重复,忽略此步骤)
2.3 配置 hadoop 环境变量
(1)新建系统环境变量 HADOOP_HOME
,值为刚刚解压的 hadoop 所在目录。
(2)修改 path 变量:添加一项配置 %HADOOP_HOME%bin
(3)测试 hadoop 环境变量配置成功没有。
出现版本信息即可。
2.4 测试
这个时候再来试一下,发现不报错了。
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- .Net在Windows上使用Jenkins做CI/CD的那些事
- 【STM32H7】第9章 RL-TCPnet调试方法(Event Recorder和串口两种)
- 【STM32F429】第9章 RL-TCPnet调试方法(Event Recorder和串口两种)
- 【STM32F407】第9章 RL-TCPnet V7.X调试方法(Event Recorder和串口两种)
- CentOS7的udev的绑定规则
- 案例:记录一则强制开库遭遇ORA-16433的处理过程
- mybatis升级为mybatis-plus踩到的坑
- Treepath
- linux 远程ssh免密登录
- npm 安装 electron taobao镜像 404错误 自用 实践笔记
- Asp.net Core 使用Jenkins + Dockor 实现持续集成、自动化部署(二):部署
- 队列的一种实现:循环队列
- StackExchange.Redis .net core Timeout performing 超时问题
- G1 垃圾回收器简单调优
- Docker安装官方Redis镜像并启用密码认证 实践笔记