如何使用Oozie API接口向非Kerberos环境的CDH集群提交Java作业
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢
1.文档编写目的
前面Fayson介绍了《如何使用Oozie API接口向非Kerberos环境的CDH集群提交Spark作业》,本篇文章主要介绍如何使用Oozie Client API向非Kerberos环境的CDH集群提交Java作业。
- 内容概述
1.环境准备及描述
2.示例代码编写及测试
3.总结
测试环境
1.CM和CDH版本为5.13.1
- 前置条件
1.集群未启用Kerberos
2.环境准备及描述
1.我们将作业运行的jar包上传到HDFS目录
sudo -u faysontest hadoop fs -mkdir -p /faysontest/jars
sudo -u faysontest hadoop fs -put /opt/cloudera/parcels/CDH/jars/hadoop-mapreduce-examples-2.6.0-cdh5.13.1.jar /faysontest/jars
sudo -u faysontest hadoop fs -ls /faysontest/jars
(可左右滑动)
这里Fayson使用的Hadoop自带的示例来测试。
2.定义一个Java Action的workflow.xml文件,内容如下:
<workflow-app name="MapReduceWorkflow" xmlns="uri:oozie:workflow:0.5">
<start to="java-d422"/>
<kill name="Kill">
<message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<action name="java-d422">
<java>
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<main-class>${mainClass}</main-class>
<java-opts>${javaOpts}</java-opts>
<arg>${arg1}</arg>
<arg>${arg2}</arg>
</java>
<ok to="End"/>
<error to="Kill"/>
</action>
<end name="End"/>
</workflow-app>
(可左右滑动)
注意:workflow.xml文件中使用的参数配置为动态参数,会在后面的代码中指定该参数的值。
3.将定义好的workflow.xml文件上传至HDFS的
/user/faysontest/oozie/javaaction目录下
[root@ip-172-31-6-148 opt]# sudo -u faysontest hadoop fs -mkdir -p /user/faysontest/oozie/javaaction
[root@ip-172-31-6-148 opt]# sudo -u faysontest hadoop fs -put /opt/workflow.xml /user/faysontest/oozie/javaaction
[root@ip-172-31-6-148 opt]# sudo -u faysontest hadoop fs -ls /user/faysontest/oozie/javaaction
(可左右滑动)
3.创建Maven示例工程
1.使用Maven创建Java工程
2.工程pom.xml文件内容如下
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<parent>
<artifactId>cdh-project</artifactId>
<groupId>com.cloudera</groupId>
<version>1.0-SNAPSHOT</version>
</parent>
<modelVersion>4.0.0</modelVersion>
<artifactId>oozie-demo</artifactId>
<packaging>jar</packaging>
<name>oozie-demo</name>
<url>http://maven.apache.org</url>
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.httpcomponents</groupId>
<artifactId>httpclient</artifactId>
<version>4.5.4</version>
</dependency>
<dependency>
<groupId>net.sourceforge.spnego</groupId>
<artifactId>spnego</artifactId>
<version>7.0</version>
</dependency>
<dependency>
<groupId>org.apache.oozie</groupId>
<artifactId>oozie-client</artifactId>
<version>4.1.0</version>
</dependency>
</dependencies>
</project>
(可左右滑动)
4.编写Oozie示例代码
1.编写JavaWorkflowDemo.java,示例代码如下
package com.cloudera.nokerberos;
import org.apache.oozie.client.OozieClient;
import org.apache.oozie.client.WorkflowAction;
import org.apache.oozie.client.WorkflowJob;
import java.util.List;
import java.util.Properties;
/**
* package: com.cloudera.nokerberos
* describe: 使用Oozie-client的API接口向非Kerberos集群提交MapReduce作业
* creat_user: Fayson
* email: htechinfo@163.com
* creat_date: 2018/2/13
* creat_time: 下午9:04
* 公众号:Hadoop实操
*/
public class JavaWorkflowDemo {
private static String oozieURL = "http://ip-172-31-6-148.fayson.com:11000/oozie";
public static void main(String[] args) {
System.setProperty("user.name", "faysontest");
OozieClient oozieClient = new OozieClient(oozieURL);
try {
System.out.println(oozieClient.getServerBuildVersion());
Properties properties = oozieClient.createConfiguration();
properties.put("oozie.wf.application.path", "${nameNode}/user/faysontest/oozie/javaaction");
properties.put("oozie.use.system.libpath", "True");
properties.put("nameNode", "hdfs://ip-172-31-10-118.fayson.com:8020");
properties.put("jobTracker", "ip-172-31-6-148.fayson.com:8032");
properties.put("mainClass", "org.apache.hadoop.examples.QuasiMonteCarlo");
properties.put("arg1", "10");
properties.put("arg2", "10");
properties.put("javaOpts", "-Xmx1000m");
properties.put("oozie.libpath", "${nameNode}/faysontest/jars/");
//运行workflow
String jobid = oozieClient.run(properties);
System.out.println(jobid);
//等待10s
new Thread(){
public void run() {
try {
Thread.sleep(10000l);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}.start();
//根据workflow id获取作业运行情况
WorkflowJob workflowJob = oozieClient.getJobInfo(jobid);
//获取作业日志
System.out.println(oozieClient.getJobLog(jobid));
//获取workflow中所有ACTION
List<WorkflowAction> list = workflowJob.getActions();
for (WorkflowAction action : list) {
//输出每个Action的 Appid 即Yarn的Application ID
System.out.println(action.getExternalId());
}
} catch (Exception e) {
e.printStackTrace();
}
}
}
(可左右滑动)
5.示例运行及验证
1.运行JavaWorkflowDemo代码,向CDH集群提交Java作业
2.登录CM进入Yarn服务的“应用程序”菜单查看
3.打开Yarn的8088 Web界面查看
可以看到作业已运行成功,到此已完成了通过OozieAPI接口创建workflow并运行的示例演示。
6.总结
- 通过Oozie API提交作业,需要先定义好workflow.xml文件
- 参数传递通过在代码里面调用oozieClient.createConfiguration()创建一个Properties对象将K,V值存储并传入oozieClient.run(properties)中。
- 在指定HDFS上运行的jar或workflow的路径时需要带上HDFS的路径,否则默认会找到本地的目录
GitHub地址:
https://github.com/fayson/cdhproject/blob/master/ooziedemo/conf/workflow-java-template.xml
提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。
原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操
- IE的BHO通过IHTMLDocument2接口获得网页源代码
- 【C++】小心使用文件读写模式:回车('r') 换行('n')问题的一次纠结经历
- 【C】用C语言提取bmp图片像素,并进行K-means聚类分析——容易遇到的问题
- SEED缓冲区溢出实验笔记
- HTTP严格安全传输(HTTP Strict Transport Security, HSTS)chromuim实现源码分析(一)
- Linux下ls命令显示符号链接权限为777的探索
- Django form表单
- Django ORM那些相关操作
- 使用mitmproxy嗅探双向认证ssl链接——嗅探AWS IoT SDK的mqtts
- Django中ORM介绍和字段及其参数
- 几个实现分页的方法
- 如何识别IDA反汇编中动态链接库中的函数
- Kali Linux安装TL-WN821N USB无线网卡驱动(make失败)
- Cookie、Session登陆验证相关介绍和用法
- java教程
- Java快速入门
- Java 开发环境配置
- Java基本语法
- Java 对象和类
- Java 基本数据类型
- Java 变量类型
- Java 修饰符
- Java 运算符
- Java 循环结构
- Java 分支结构
- Java Number类
- Java Character类
- Java String类
- Java StringBuffer和StringBuilder类
- Java 数组
- Java 日期时间
- Java 正则表达式
- Java 方法
- Java 流(Stream)、文件(File)和IO
- Java 异常处理
- Java 继承
- Java 重写(Override)与重载(Overload)
- Java 多态
- Java 抽象类
- Java 封装
- Java 接口
- Java 包(package)
- Java 数据结构
- Java 集合框架
- Java 泛型
- Java 序列化
- Java 网络编程
- Java 发送邮件
- Java 多线程编程
- Java Applet基础
- Java 文档注释
- JVM学习二
- 微信小程序对接云开发录音文件识别nodejs sdk
- 利用python读取WORD文档中的创建者信息
- LeetCode-2.两数相加 使用链表加法实现
- Spring学习(2):Spring Bean管理(上)
- 聊聊dubbo-go的TpsLimitFilter
- spring,springBoot事件
- LeetCode-3.无重复字符的最长子串 利用一个整形数组+ASCII码实现滑动窗口
- 算法不想学(二): 堆排序和top k
- 利用python读取EXCEL文档中的创建者信息
- R语言工具变量与两阶段最小二乘法
- 贼好用的Java工具类库,GitHub星标13k+,很是厉害!
- CPU密集型任务会阻塞 Node.js 吗
- Let's Encrypt 配置 HTTPS 免费泛域名证书
- 如何删除重复数据(二)