Hadoop Hive Hbase Kylin 环境搭建
# 安装版本
| SoftWare | Version |
| ------------- |:-------------:|
| JDK | 1.8 |
| Hadoop | 2.7.3 |
| Hive | 2.1.1 |
| Hbase | 1.3.0 |
| MySQL | 5.7.17 |
| Kylin | 1.6.0 |
以上全部运行、大概至少需要2GB内存
一、搭建Hadoop环境
- 安装JDK(1.8)
JAVA_HOME, JRE_HOME, 以及PATH
- 下载Hadoop(2.7.3)
# hadoop-env.sh 配置 export JAVA_HOME=`absolute path` # core-site.xml 配置 <configuration> <!-- 指定HDFS老大(namenode)的通信地址 --> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/path/to/tmp</value> </property> </configuration> # hdfs-site.xml 配置 <configuration> <!-- 设置hdfs副本数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
二、搭建Hive环境
- 安装mysql(5.7.17)
- https://dev.mysql.com/downloads/mysql/
- 下载地址
- 该版本推荐使用ssl, 否则会有警告, 暂时忽略... (&useSSL=false)
- 安装Hive(2.1.1)
- hive需要创建一个叫“元数据库”的东西,需要一个数据库来支持,比如MySQL
- 由于使用MySQL. 需要在hive的 lib文件夹中,添加 “mysql-connector-java-xxx.jar”
# hive-env.sh 配置 HADOOP_HOME=/usr/hadoop-2.7.3 # 创建一个 hive-site.xml 文件 # 其实就是比 hive-default.xml 优先级高一些的子集 # 主要配置 MySQL 数据库连接 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hive.metastore.local</name> <value>true</value> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://127.0.0.1:3306/hive?characterEncoding=UTF-8</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> </property> </configuration> # 可以~~~ cp hive-default.xml.template hive-default.xml cp hive-log4j2.properties.template hive-log4j2.properties
- 然后,需要初始化一下 hive的数据库表 schematool -dbType mysql -initSchema
三、搭建Hbase环境
- 安装Hbase(1.3.0)
- http://hbase.apache.org/
- 下载地址
- 此版本自带Zookeeper
# 设置环境变量 hbase-env.sh export JAVA_HOME=/usr/jdk1.8.0_121/ # Extra Java CLASSPATH elements. Optional. export HBASE_CLASSPATH=/usr/hadoop-2.7.3/etc/hadoop # 是否使用自带Zookeeper export HBASE_MANAGES_ZK=true # 设置 hbase-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hbase.tmp.dir</name> <value>/home/lpe234/hbase-tmp</value> </property> </configuration>
四、搭建Kylin环境
- 安装Kylin(1.6.0)
# 配置大体无需修改 # 但是需要设置一下环境变量(PATH....) # /etc/profile (source /etc/profile) # 增加如下内容 export JAVA_HOME=/usr/jdk1.8.0_121/ export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH export HADOOP_HOME=/usr/hadoop-2.7.3 export HIVE_HOME=/usr/hive-2.1.1 export HIVE_CONF=/usr/hive-2.1.1/conf/ export HCAT_HOME=/usr/hive-2.1.1/hcatalog/ export HBASE_HOME=/usr/hbase-1.3.0 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$PATH export KYLIN_HOME=/usr/apache-kylin-1.6.0-hbase1.x-bin
五、启动
# MySQL 启动
service mysql restart
# Hadoop 启动
hadoop-2.7.3/sbin/stop-all.sh
hadoop-2.7.3/sbin/start-all.sh
# Hive 启动
# 无需启动 hive-2.1.1/bin/hive
# Hbase 启动
hbase-1.3.0/bin/stop-hbase.sh
hbase-1.3.0/bin/start-hbase.sh
# Kylin 启动
apache-kylin-1.6.0-hbase1.x-bin/bin/kylin.sh stop
apache-kylin-1.6.0-hbase1.x-bin/bin/kylin.sh start
# 然后就可以了~~~
Please visit http://<ip>:7070/kylin
The username/password is ADMIN/KYLIN
参考资料
- http://blog.csdn.net/windghoul/article/details/52655032
- http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Android设计模式之策略模式详解
- Android实现类似iOS风格的对话框实例代码
- Android 给图片加上水印的示例代码(支持logo+文字)
- Android studio 下JNI编程实例并生成so库的实现代码
- Android实现简单时钟View的方法
- Android编程之创建自己的内容提供器实现方法
- Android自定义View圆形和拖动圆、跟随手指拖动效果
- Android开发之OkHttpUtils的具体使用方法
- Xshell5连接虚拟机中的Linux的方法以及失败原因解决
- Android 多线程的实现方法总结
- Android编程之SQLite数据库操作方法详解
- 浅谈android组件化之ARouter简单使用
- Android ScrollView实现下拉弹回动画效果
- Android实现用文字生成图片的示例代码
- Android bindservice失败解决方法