Oozie分布式工作流——EL表达式
oozie支持使用EL(expression language)表达式。
基本的EL常量
- KB
- MB
- GB
- TB
- PB
基本EL函数
string firstNotNull(String value1,String value2)
返回第一个不为空的值,如果都为null,则返回null
string concat(String s1,String s2)
拼接两个字符串,如果一个为null,拼接的字符串为空
string replaceAll(String src,String regex,String replacement)
替换正则表达式匹配的位置。如果regex为null,则什么也不做。如果replacement为null,则替换为空串
string appendAll(String src,String append,String delimeter)
把append字符串添加到切分后的字符串中。比如appendAll("a,b,c","123",",")
将会返回a123,b123,c123
。append为null代表返回空串,delimiter为null,代表什么也不做。
string trim(String s)
给指定的字符串去除空格
String urlEncode(String s)
URL解码
String timestamp()
返回当前的时间戳,并格式化为yyyy-MM-ddTHH:mmZ
,到分钟粒度。
String toJsonStr(Map)
把Map返回成json,这在获取前一个action的输出内容时比较有用。比如wf:actionData(String actionName)格式化为json
String toPropertiesStr(Map)
把Map返回成Java Properties
String toConfigurationStr(Map)
把Map返回成Configuration
工作流EL函数
String wf:id()
获取当前工作流节点的id
String wf:name()
获取当前工作流的名称
String wf:appPath()
获取当前工作流workflow.xml所在的目录
String wf:conf(String name)
返回当前工作流的属性值
String wf:user()
返回启动当前工作流的用户
String wf:group()
返回当前工作流的组
String wf:callback(String stateVar)
返回当前工作流的回调,stateVar可以指定成某个状态,也可以传一个参数可以在远程进行替换
String wf:transition(String node)
返回工作流的状态
String wf:lastErrorNode()
返回当前工作流退出的状态
String wf:errorCode(String node)
返回特定node的错误代码
String wf:errorMessage(String message)
返回出错的主要信息
int wf:run()
返回当前工作流任务的标志,0代表正常
Map wf:actionData(String node)
返回指定节点输出的内容,需要配合<capture-output>
标签使用
int wf:actionExternalId(String node)
返回节点的外部id
int wf:actionTrakerUri(String node)
返回当前节点的uri
int wf:actionExternalStatus(String node)
返回指定节点的外部状态
Hadoop EL常量
- RECORDS
- MAP_IN
- MAP_OUT
- REDUCE_IN
- REDUCE_OUT
- GROUPS
Hadoop 任务EL函数的例子
<workflow-app xmlns="uri:oozie:workflow:0.2" name="pig-wf">
<start to="pig-node"/>
<action name="pig-node">
<pig>
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<prepare>
<delete path="${nameNode}/user/${wf:user()}/${examplesRoot}/output-data/pig"/>
</prepare>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
</property>
<property>
<name>mapred.compress.map.output</name>
<value>true</value>
</property>
</configuration>
<script>id.pig</script>
<param>INPUT=/user/${wf:user()}/${examplesRoot}/input-data/text</param>
<param>OUTPUT=/user/${wf:user()}/${examplesRoot}/output-data/pig</param>
</pig>
<ok to="java1"/>
<error to="fail"/>
</action>
<action name="java1">
<java>
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<configuration>
<property>
<name>mapred.job.queue.name</name>
<value>${queueName}</value>
</property>
</configuration>
<main-class>MyTest</main-class>
<arg> ${wf:actionData("pig-node")["hadoopJobs"]}</arg>
<capture-output/>
</java>
<ok to="end" />
<error to="fail" />
</action>
<kill name="fail">
<message>Pig failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name="end"/>
</workflow-app>
hdfs el方法
boolean fs:exists(String path)
判断指定的URI是否存在
boolean fs:isDir(String path)
判断是否是目录
long fs:dirSize(String path)
返回指定目录下的所有文件的大小。如果不是目录,返回-1。它不支持嵌套,只能返回下面一层的文件大小
long fs:fileSize(String path)
返回指定文件的大小,如果不是文件,返回-1
long fs:blockSize(String path)
返回指定文件占用的block大小。如果不是file,返回-1
- 【Go 语言社区】各种变量的声明
- 【Go 语言社区】Golang 高效字符串拼接
- 实战 | Elasticsearch实现类Google高级检索
- Golang中time包用法--转
- 干货 | Elasticsearch 集群健康值红色终极解决方案
- Go语言interface的value.(type)使用小技巧-转
- 干货 | Elasticsearch5.X Mapping万能模板
- MySQL 5.7安装部署总结(r10笔记第77天)
- Go语言中Socket通信TCP服务端
- MySQL和Oracle的添加字段的处理差别 (r10笔记第73天)
- MySQL修改数据类型的问题总结(r10笔记第74天)
- 深究|Elasticsearch单字段支持的最大字符数?
- Go语言中Socket通信之Tcp客户端
- Oracle 12c PDB迁移及ORA-00600错误分析和解决(r10笔记第72天)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法