hadoop常用维护命令
时间:2022-07-25
本文章向大家介绍hadoop常用维护命令,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
hadoop常用维护命令
- 列出正在运行的job
$ hadoop job -list
- kill掉job(1234指jobid)
$ hadoop job -kill 1234
- 查看hdfs块状态
$ hadoop fsck /
FSCK started by nange from /127.0.0.1 for path / at Mon Apr 21 22:26:29 CST 2014
................................
/hdfs/test/avg/out/part-r-00000: Under replicated blk_958972218415296316_1141. Target Replicas is 3 but found 1 replica(s).
.
/hdfs/test/hdfsoper/2.f: Under replicated blk_1024136243155007162_1126. Target Replicas is 3 but found 1 replica(s).
- 查看hdfs状态,并删除损坏块
$ hadoop fsck / -delete
- 检查dfs状态,以及datanode信息
$ hadoop dfsadmin -report
Configured Capacity: 155277496320 (144.61 GB)
Present Capacity: 138432897024 (128.93 GB)
DFS Remaining: 138429386752 (128.92 GB)
DFS Used: 3510272 (3.35 MB)
DFS Used%: 0%
Under replicated blocks: 14
Blocks with corrupt replicas: 0
Missing blocks: 0
-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)
Name: 127.0.0.1:50010
Decommission Status : Normal
Configured Capacity: 155277496320 (144.61 GB)
DFS Used: 3510272 (3.35 MB)
Non DFS Used: 16844599296 (15.69 GB)
DFS Remaining: 138429386752(128.92 GB)
DFS Used%: 0%
DFS Remaining%: 89.15%
Last contact: Mon Apr 21 22:33:15 CST 2014
- 安全模式状态查询,进入,离开
hadoop dfsadmin -safemode [get|enter|leave]
- hadoop 并行拷贝(将a节点数据拷贝到b节点)
hadoop distcp hdfs://a:9000/a hdfs://b:9000/b
- 平衡集群文件
$ start-balancer.sh
starting balancer, logging to /home/nange/programs/hadoopWS/hadoop-1.2.1/libexec/../logs/hadoop-nange-balancer-ubuntu.out
喜欢 (1)or分享 (0)
- hdu 1811 Rank of Tetris (并查集+拓扑排序)
- Pycharm常用技巧
- hdu 1598 find the most comfortable road(枚举+卡鲁斯卡尔最小生成树)
- 查询IP地址归属详情
- oracle commit详解
- hdu 4315 Climbing the Hill(阶梯博弈转nim博弈)
- iftop实时网络流量监控工具的安装使用
- hdu 3908 Triple(组合计数、容斥原理)
- hdu 4034 Graph (floyd的深入理解)
- hdu 4033Regular Polygon(二分+余弦定理)
- Debian8配置SSH允许root登陆
- hdu 4405Aeroplane chess(概率DP)
- hdu 3853LOOPS (概率DP)
- cf(#div1 B. Dreamoon and Sets)(数论)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Python爬虫练手,一个简单的Python资讯采集案例
- 直播带货软件开发过程中,如何实现图片上传
- 太实用了!自己动手写软件——邮件用户名密码验证
- 太实用了!自己动手写软件——SSH、FTP和SQL server的密码破解
- Kaggle Tweet Sentiment Extraction 第七名复盘
- 【翻译】.NET 5中的性能改进
- 腾讯云实时语音识别-iOS SDK
- JointPoint用法及与ProceedingJoinPoint 的关系
- Spring中的异步请求、异步调用及demo测试
- 以太坊交易签名解析源码解读
- 比较NaN和数字
- GO 的方法集
- 轻松应对并发问题,简易的火车票售票系统,第一步 —业务分析
- 【Spark Operator】核数设置Cores/Cores Limit/Cores Request,你搞清楚没有?
- 【Ceph RGW】radosgw_usage_exporter监控用户使用量