【Spark】常见的编译错误
时间:2022-07-23
本文章向大家介绍【Spark】常见的编译错误,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
文章目录
- 1 java.lang.ClassNotFoundException: xsbt.CompilerInterface
- 2 Unable to find: dev/checkstyle-suppressions.xml
- 3 Unable to find configuration file at location scalastyle-config.xml
- 4 Summary
1 java.lang.ClassNotFoundException: xsbt.CompilerInterface
改动了一下 Spark 的代码,重新编一个,因为有段时间没编了,本地环境可能有点问题,果不其然,报错了,java.lang.ClassNotFoundException: xsbt.CompilerInterface
。
仔细看一下 maven 的编译日志,把下面 .sbt/
目录下的问题件删除,让 Spark 的编译脚本重新去下载就好了。
2 Unable to find: dev/checkstyle-suppressions.xml
在 spark/resource-manager/kubernetes 下执行下面的命令,编译 spark_kubernetes 的模块报错,这个只要把对应的文件 copy 到上述的目录就可以。
build/mvn -pl :spark-kubernetes_2.12 clean install -DskipTests
3 Unable to find configuration file at location scalastyle-config.xml
在 spark/resource-manager/kubernetes 下执行下面的命令,编译 spark_kubernetes 的模块报错,这个只要把对应的文件 copy 到上述的目录就可以。
build/mvn -pl :spark-kubernetes_2.12 clean install -DskipTests
4 Summary
其实编译的问题主要集中在对 Maven,尤其是 plugin 功能的不熟悉,或者是环境很混乱,环境变量设置不合理等等,但是一般来说 spark 的编译脚本 make-distribution.sh
,都可以把问题暴露出来,用户需要仔细去排查。
- linux压缩解压命令使用
- linux使用wc命令查看文件行数、字母、字节数命令
- 程序员偷偷深爱的 9 个不良编程习惯
- 低级程序员和高级程序员的区别
- Silverlight学习(二)
- Silverlight学习(三)
- ArcGIS for Android学习(一)
- Arcgis for Silverlight学习(一)
- ImageButton与Button
- RadioButton、CheckBox与ToggleButton
- Silverlight学习(五)图形标绘
- radio与checkbox
- JavaScript之cookie
- Silverlight学习(四) domainservice动态多条件查询
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Docker安装官方Redis镜像并启用密码认证 实践笔记
- Asp.net Core 使用Jenkins + Dockor 实现持续集成、自动化部署(四):发布与回滚
- linux centos 安装Jenkins(非docker方式)
- mysql5.7 derived_merge=on 弄丢了我的 order by!
- 用nrm轻松管理npm镜像 自用 实践笔记
- 模拟战役(DFS||并查集解法)
- 学会这些(滑动关机、应用多开、QQ微信消息攻击、表白神器),逼格瞬间提升1000倍
- 位数问题
- 题目 2229: [蓝桥杯][算法训练]最大最小公倍数
- 武汉工程大学2020GPLT选拔赛(重现赛)详细代码讲解
- 用邻接链表存图 详讲
- strstr函数的详细讲解
- ICPC Pacific Northwest Regional Contest 2019 C D E M 题解
- wordpress:您的主机禁用了mail()函数,找回用户名和密码
- AtCoder Beginner Contest 166 A ~~E