thrift例子:python客户端/java服务端
时间:2022-05-02
本文章向大家介绍thrift例子:python客户端/java服务端,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
java服务端的代码请看上文。
1、说明:
这两篇文章其实解决的问题是,当使用python去访问大数据线上集群的时候,遇到两个问题:
1)python-hadoop和python-hive相关包链接不稳定,表现为经常出现链接超时;
2)如果使用fork进程执行hadoop fs或者hive -e的方式则消耗大量的机器资源,包括进程资源和集群链接资源。
我们的解决方式是写一个java的代理服务,使用java-hadoop封装了对集群的操作,通过thrift提供接口给python程序。
2、编译.thrfit
thrift -gen py jazz.thrift
jazz.thrift内容如下
namespace java com.xiaoju.dqa.jazz.iface
service JazzService{
bool exists(1:string path)
}
会生成python的package gen-py,将它拷贝到你的工程中。
3、python客户端
你需要安装python的thrift支持。
pip install thrift
python客户端的代码如下:
#!/usr/bin/env python
#-*- coding:utf-8 -*-
import sys
sys.path.append('./gen-py')
import traceback
from jazz import JazzService #引入客户端类
from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol, TCompactProtocol
try:
#建立socket
transport = TSocket.TSocket('localhost', 9090)
#选择传输层,和服务端一致
# transport = TTransport.TFramedTransport(transport)
# transport = TTransport.TFramedTransportFactory().getTransport(socket)
#选择传输协议,和服务端一致
transport = TTransport.TBufferedTransport(transport)
protocol = TBinaryProtocol.TBinaryProtocol(transport)
#protocol = TCompactProtocol.TCompactProtocol(transport)
#创建客户端
client = JazzService.Client(protocol)
transport.open()
is_exists = client.exists("/home/.../...")
print is_exists
#关闭传输
transport.close()
#捕获异常
except Thrift.TException, ex:
traceback.print_exc()
- 事务与一致性:刚性or柔性?
- 文本相似度算法小结
- return的值都去哪了?去哪了,“谁伸手了,return的结果就给谁”
- 面试时对方问你,“xxx需求你是怎么做的”?你可以这样回答
- vue.js的条件渲染,其实就是模板里面写if else
- vue.js的插槽 - slot 是啥?要我说,它就是个“形参”
- Vue2.0,lifeCycle ['laɪfˌsaɪkl] -- 生命周期大白话~
- 什么生命周期,在我看来就是各种回调 &&电商项目作业检查 -- 张xx
- 小知识点 -- nodejs中的console.log打印输出在哪里?
- 学js少看书肯定是不成的,要多看。
- 抽象是啥?就是一群人的特征;js中的call是啥?就是我想用你家的电饭锅
- 从node事件到观察者 -- 学习要有一根线索
- Joy:一款用于捕获和分析网络内部流量数据的工具
- 老尚,能讲讲闭包么?“可以,没问题,马上”
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- C语言 main 函数到底怎么写是对的?
- theia 安装 + 登录认证
- 必须掌握的HDFS相关问题
- 如何在K8S上备份和恢复MySQL
- 学习 | Spring Cloud Config 从入门到精通
- 模仿百度新闻的一部分
- 腾讯云录音文件识别-iOS SDK
- ESP8266如何设置wifi。
- ESP8266搭建web服务器
- 关于持续交付中Git分支管理的思考
- 轻松应对并发问题,Newbe.Claptrap 框架中 State 和 Event 应该如何理解?
- 如何暂停一个正在运行的线程?
- WebMonitor采集端优化之路
- 美颜算法之自动祛斑算法实现 | 案例分享
- 附025.kubeadm部署Kubernetes更新证书