使用 prometheus 监控clickhouse 集群
一 前言
本文介绍 采用clickhouse-exporter + grafana + prometheus 搭建监控clickhouse 单节点和集群的监控体系。
什么是 prometheus ,可以从这里了解 。
二 部署exporter
获取代码并编译
mkdir -p $GO_PATH/src/github.com/Percona-Lab
cd $GO_PATH/src/github.com/Percona-Lab
git clone https://github.com/Percona-Lab/clickhouse_exporter
因为生产环境的系统是基于Linux不能直接访问外网,故在自己的 mac 系统先编译成二进制。然后拷贝到生产环境。
在mac上编译 clickhouse_exporter,
在下载到源代码目录。
cd $GO_PATH/src/github.com/Percona-Lab
GO111MODULE=off `CGO_ENABLED`=0 GOOS=linux GOARCH=amd64 go build clickhouse_exporter.go
编译成功会看到 二进制文件
$ ./clickhouse_exporter -h
Usage of ./clickhouse_exporter:
-insecure
Ignore server certificate if using https (default true)
-log.level value
Only log messages with the given severity or above. Valid levels: [debug, info, warn, error, fatal, panic].
-scrape_uri string
URI to clickhouse http endpoint (default "http://localhost:8123/")
-telemetry.address string
Address on which to expose metrics. (default ":9116")
-telemetry.endpoint string
Path under which to expose metrics. (default "/metrics")
配置比较简单 就是指定 scrape_uri
=clickhouse_server_ip
:port,
启动exporter
./clickhouse_exporter -scrape_uri=http://clickhouse_server_ip:8123/ -log.level=info
在exporter机器上查看是否能获取到clickhouse的数据
成功。。
三 配置prometheus
修改prometheus.yml文件,targets 指定 clickhouse_exporter的ip地址和端口号
- job_name: 'clickhouse_exporter'
scrape_interval: 10s
static_configs:
- targets:
- "clickhouse_exporter_ip:9116"
修改完配置文件 重新加载
curl 'http://localhost:9090/-/reload' -X POST
监控多个clickhouse节点
当然如果监控多个clickhouse集群节点要怎么处理?目前测试的 clickhouse_exporter 还不支持 ,要重写接受参数的处理逻辑。
或者有知道的朋友怎么操作 可以留言交流。
四 配置grafna图形
从 https://grafana.com/grafana/dashboards/882 获取clickhouse 的监控采集数据模板 ,导入模板 选择prometheus数据源,监控展示
五 小结
本文算是浅显的介绍了利用clickhouse-exporter + grafana + prometheus部署clickhouse的监控。看了clickhouse的性能展示模板还是比较粗糙,如果有需要更细粒度的展示 clickhouse 的集群状态,可以基于监控的metrics 去配置更丰富的指标。
have fun with ClickHouse ^_^
-The End-
本公众号长期关注于数据库技术以及性能优化,故障案例分析,数据库运维技术知识分享,个人成长和自我管理等主题,欢迎扫码关注。
- hihoCoder #1082 : 然而沼跃鱼早就看穿了一切(字符串处理)
- 51Nod 1182 完美字符串(字符串处理 贪心 Facebook Hacker Cup选拔)
- 51Nod 1080 两个数的平方和(数论,经典题)
- Selenium3+python自动化50-环境搭建(firefox)
- Selenium2+python自动化51-unittest简介
- 开发者的如何优雅的使用OSX
- 1082 与7无关的数(思维题,巨坑)
- Facebook构建高性能Android视频组件实践之路
- Samba服务的配置总结
- 大型互联网系统的监控流水线
- 10-移动端开发教程-移动端事件
- 灰色理论预测模型
- tweet情感分析流程
- Selenium2+python自动化52-unittest执行顺序
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- iOS音视频接入 - TRTC常见问题
- PHP常见的几种攻击方式实例小结
- PHP strripos函数用法总结
- Laravel5.0+框架邮件发送功能实现方法图文与实例详解
- Ajax+PHP实现的删除数据功能示例
- tensorflow下的图片标准化函数per_image_standardization用法
- 浅析Python面向对象编程
- Python单元测试及unittest框架用法实例解析
- Tensorflow中批量读取数据的案列分析及TFRecord文件的打包与读取
- YII框架实现自定义第三方扩展操作示例
- 在Tensorflow中实现leakyRelu操作详解(高效)
- Django def clean()函数对表单中的数据进行验证操作
- Python3爬虫中Splash的知识总结
- Laravel框架自定义公共函数的引入操作示例
- PHP PDOStatement::setFetchMode讲解