如何使用HAProxy实现HiveServer2负载均衡
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
1.文档编写目的
前面Fayson介绍了《如何使用HAProxy实现Impala的负载均衡》,本文主要介绍如何使用HAProxy实现Hive服务的负载均衡。
- 内容概述
1.HAProxy配置HiveServer2负载均衡
2.Beeline及Java JDBC测试
- 测试环境
1.CM和CDH版本为5.13.0
2.采用root用户操作
3.集群未启用Kerberos
4.HAProxy1.5.18
2.HAProxy配置HiveServer2负载均衡
这里Fayson就不再赘述HAProxy的安装,具体你可以参考之前的文章《如何使用HAProxy实现Impala的负载均衡》,本文的配置也是基于前面文章的配置文件。
1.编辑/etc/haproxy/haproxy.cfg文件,在文件末尾增加如下配置
listen hivejdbc
bind 0.0.0.0:25005
mode tcp
option tcplog
balance leastconn
server ip-172-31-5-190.fayson.com ip-172-31-5-190.fayson.com:10000 check
server ip-172-31-6-148.fayson.com ip-172-31-6-148.fayson.com:10000 check
2.重启HAProxy服务
[root@ip-172-31-9-33 haproxy]# service haproxy restart
3.浏览器访问http://{hostname}:1080/stats
看到以上截图说明,已成功配置了HiveServer2服务的负载均衡。
3.Beeline测试
使用多个终端同时访问,并执行SQL语句,查看是否会通过HAProxy服务自动负载到其它HiveServer2节点
1.使用Beeline访问HAProxy服务的25005端口,命令如下
[root@ip-172-31-6-148 ~]# beeline
beeline> !connect jdbc:hive2://ip-172-31-9-33.fayson.com:25005
...
Enter username for jdbc:hive2://ip-172-31-9-33.fayson.com:25005: hive
Enter password for jdbc:hive2://ip-172-31-9-33.fayson.com:25005:
2.同时打开三个终端访问HiveServer2并执行SQL
终端一
终端二:
终端三:
3.通过访问HAProxy的统计页面可以看到如下信息
通过以上测试可以看到,三个终端执行的SQL不在同一个HiveServer2,这样就实现了HiveServer2服务的负载均衡。
4.Hive JDBC测试
这里Java的测试工程就不详细描述如何创建了,前面的文章Fayson也有讲过。
1.Maven依赖
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.6.5</version>
</dependency>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-jdbc</artifactId>
<version>1.1.0</version>
</dependency>
2.配置JDBC的地址为HAProxy服务所在的IP端口为25005
3.运行代码,查看运行结果
为天地立心,为生民立命,为往圣继绝学,为万世开太平。
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 第四篇 CentOs7下安装Zabbix
- 第十三篇 zabbix创建Item
- 第十四篇 zabbix创建自定义Item
- 【性能】688- 前端性能优化——从 10 多秒到 1.05 秒
- 第十六篇 zabbix创建Trigger
- 如何通过程序(java代码)提高你的博客访问量
- zabbix_get [12429]: Check access restrictions in Zabbix agent configuration
- 【设计模式】689- TypeScript 设计模式之观察者模式
- Found a swap file by the name ".jsidInspector.py.swp"
- CentOs7下部署tomcat文件服务器
- 【拓展】未来的JavaScript记录与元组
- 【Vuejs】690- Vue新特性:CSS 中使用 JS 变量
- Zabbix监控之从Kafka中获取消费进度和lag
- 将UTC(字符串包含TZ的时间)时间转换成本地时间 python
- centos7安装telnet服务