Hadoop历史服务器配置详细步骤
时间:2022-07-25
本文章向大家介绍Hadoop历史服务器配置详细步骤,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
Hadoop JobHistory Server 默认情况下是没有启动的,而且需要自己配置和启动该服务。
在步骤开始之前,建议先把 hdfs 和 yarn 停掉:stop-dfs.sh
、stop-yarn.sh
1. 历史服务器基本配置
1.1 配置 mapred-site.xml 文件
满足基本使用的话,在 mapred-site.xml 添加下面配置即可(注意根据自己的 ip 进行修改)。
vim mapred-site.xml
<property>
<name>mapreduce.jobhistory.address</name>
<value>ip:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>ip:19888</value>
</property>
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/history/done</value>
</property>
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>/history/done_intermediate</value>
</property>
1.2 启动
(1)启动 hdfs 和 yarn。
start-dfs.sh
start-yarn.sh
(2)使用 $HADOOP_HOME/sbin/ 下的脚本 mr-jobhistory-daemon.sh
启动历史服务器
# 启动命令
mr-jobhistory-daemon.sh start historyserver
# 停止命令
mr-jobhistory-daemon.sh stop historyserver
浏览器输入:http://ip:19888/jobhistory
回车
2. 配置日志的聚集
(1)在 yarn-site.xml 文件中添加以下配置
<!-- 开启日志聚集功能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置7天=604800秒 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
(2)重启 Yarn 和 JobHistoryServer
stop-yarn.sh
mr-jobhistory-daemon.sh stop historyserver
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
3. 测试
提交一个任务测试如下
一切正常,达到预期。
- C++判断char*的指向
- Linux基础(day18)
- Spring Boot搭建Web应用
- 5.7 vim实践
- Effective Modern C++翻译(7)-条款6:当auto推导出意外的类型时,使用显式的类型初始化语义
- 2.3 ls命令
- Effective Modern C++翻译(6)-条款5:auto比显示的类型声明要更好
- 大白话-prototype属性
- Effective Modern C++翻译(5)-条款4:了解如何观察推导出的类型
- Effective Modern C++翻译(4)-条款3:了解decltype
- 大白话-constructor
- Effective Modern C++翻译(3)-条款2:明白auto类型推导
- React Native在Android平台运行gif的解决方法
- Effective Modern C++翻译(2)-条款1:明白模板类型推导
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- PAT (Basic Level) Practice (中文)1046 划拳 (15 分)
- PAT (Advanced Level) Practice 1030 Travel Plan (30分)
- PAT (Basic Level) Practice (中文)1050 螺旋矩阵 (25 分)
- PAT (Advanced Level) Practice 1031 Hello World for U (20分)
- PAT (Basic Level) Practice (中文)1051 复数乘法 (15 分)
- 【Java】06 面向对象基本特征
- PAT (Basic Level) Practice (中文)1054 求平均值 (20 分)
- zookeeper集群的搭建
- 【Java】07 常见 API
- 【Java】04 数组
- hadoop分布式格式化时出现异常java.net.unknownhostexception
- 【Java】05 面向对象
- 【Java】08 集合
- PAT (Advanced Level) Practice 1001 A B Format (20 分)
- 【Java】09 List 集合与 Collections 工具类