MapReduce工作笔记——Hadoop MR Streaming通用模板
时间:2022-07-24
本文章向大家介绍MapReduce工作笔记——Hadoop MR Streaming通用模板,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
模板概览
#!/bin/sh
# #-----------------------------------#
# _ _ _
# | | | | __ _ __| | ___ ___ _ __
# | |_| |/ _` |/ _` |/ _ / _ | '_
# | _ | (_| | (_| | (_) | (_) | |_) |
# |_| |_|__,_|__,_|___/ ___/| .__/
# |_|
# #-----------------------------------#
# Created on 2018.11.13
# Latest modified on 2018.11.13
# @author: wangcongying
# #-----------------------------------#
# MAPPER: ${CURDIR}/mapper.py
# REDUCER: ${CURDIR}/reducer.py
# #-----------------------------------#
if [ $# != 1 ] ; then
echo "***********************"
echo "Parameter error !!!"
echo "USAGE: ./TestHadoopJob.sh "
echo " e.g.:"
echo "***********************"
exit 1;
fi
# ${HADOOP_HOME}: HADOOP 路径
HADOOP_HOME=""
HDP="$HADOOP_HOME/bin/hadoop fs"
MY_PATH=$(dirname $0)
CUR_DIR=`dirname $(readlink -f $0)`
Today=`date +%Y%m%d`
# ${INPUT}: HDFS 输入路径
# ${OUTDIR}: HDFS 输出路径
# ${JOB_NAME}: MR JOB 命名
INPUT=""
OUTDIR=""
JOB_NAME="wangcongying_${Today}"
echo '===============================================' >> $MY_PATH/hadoop_screen.ans
$HDP -rmr $OUTDIR
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming.jar
-D mapred.job.max.map.running=500
-D mapred.job.max.reduce.running=500
-D mapred.ignore.badcompress="true"
-D mapred.use.multimembergzip="true"
-D mapred.max.map.failures.percent=3
-D stream.num.map.output.key.fields=1
-D mapred.text.key.comparator.options="-k1,1"
-D mapred.job.name=$JOB_NAME
-D mapred.job.priority="VERY_HIGH"
-jobconf mapred.reduce.tasks=100
-jobconf mapred.child.env="LANG=en_US.UTF-8,LC_ALL=en_US.UTF-8"
-mapper "mapper.py"
-reducer "reducer.py"
-input ${INPUT}
-output ${OUTDIR}
-file "$MY_PATH/reducer.py"
-file "$MY_PATH/mapper.py"
2>&1 | tee -a $MY_PATH/hadoop_screen.ans
$HDP -test -e ${OUTDIR}/_SUCCESS
if [ $? -ne 0 ]; then
echo "ERROR: Hadoop job Hubble Launcher Merge failed, quit!"
exit 1;
fi
exit 0;
- [Cake] 0.C#Make自动化构建-简介
- [认证授权] 3.基于OAuth2的认证(译)
- [Asp.Net Core] 1. IIS中的 Asp.Net Core 和 dotnet watch
- kafka数据迁移实践
- HDFS 2.x 磁盘间数据均衡的一种可行办法
- Batik渲染png图片异常的bug修复全程记录
- Web应用服务器安全:攻击、防护与检测
- 基于Go Packet实现网络数据包的捕获与分析
- 动态追踪技术(四):基于 Linux bcc/BPF 实现 Go 程序动态追踪
- Hive 时间转换函数使用心得
- Flume-Hbase-Sink针对不同版本flume与HBase的适配研究与经验总结
- 利用Flume 汇入数据到HBase:Flume-hbase-sink 使用方法详解
- 浅谈保证软件工程质量的一些心得体会
- 基于ELK的nginx-qps监控解决方案
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Android scrollview如何监听滑动状态
- android 自定义圆角button效果的实例代码(自定义view Demo)
- Android开发简易音乐播放器
- Android 自定义ListView实现QQ空间界面(说说内包含图片、视频、点赞、评论、转发功能)
- Android自定义View实现自动吸附功能
- Qt音视频开发35-Onvif图片参数
- alpine安装openssl
- iOS14中的PHPicker
- Android 如何实现动态申请权限
- Android录屏的三种解决方案
- Android 实现将Bitmap 保存到本地
- Android Gradle依赖管理、去除重复依赖、忽略的方式
- Andriod Studio实现保存QQ密码功能(案例代码详解)
- Android Studio编写微信页面提交功能
- android 实现按钮浮动在键盘上方的实例代码