如何使用Hue通过数据文件创建Collections
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
1.文档编写目的
在CDH5.9版本及更新版本中,Hue新增一个全新工具从数据文件中创建Apache Solr的Collections,可以通过该工具轻松的将数据加载到Solr的Collection中。
过去,将数据索引到Solr是相当困难。这项任务涉及到编写一个Solr的Schema和一个morphlines文件,然后将一个Job提交给YARN来建索引。这种做法往往需要较长的时间,现在Hue的新功能可以以界面的方式在几分钟内为您启动一个YARN的作业来创建索引工作。本篇文章主要介绍如何使用Hue通过数据文件创建Collections。
- 内容概述
1.安装依赖库
2.修改Hue配置及集成Solr
3.功能测试
- 测试环境
1.CM和CDH版本为5.13.0
2.采用root用户操作
- 前置条件
1.集群已安装Solr服务
2.安装依赖库
1.在HDFS上创建一个目录用于存放依赖库
[root@ip-172-31-9-33 conf]# hadoop fs -mkdir /tmp/smart_indexer_lib
2.将/opt/cloudera/parcels/CDH/jars目录下如下jar包上传至/tmp/smart_indexer_lib目录
[root@ip-172-31-6-148 smart_indexer_lib]# cd /opt/cloudera/parcels/CDH/jars
[root@ip-172-31-6-148 jars]# scp argparse4j-0.4.3.jar httpmime-4.2.5.jar search-mr-1.0.0-cdh5.13.0-job.jar kite-morphlines-core-1.0.0-cdh5.13.0.jar solr-core-4.10.3-cdh5.13.0.jar kite-morphlines-solr-core-1.0.0-cdh5.13.0.jar solr-solrj-4.10.3-cdh5.13.0.jar noggit-0.5.jar /root/smart_indexer_lib
[root@ip-172-31-6-148 jars] cd /root/smart_indexer_lib
[root@ip-172-31-6-148 jars] hadoop fs –put *.jar /tmp/smart_indexer_lib
[root@ip-172-31-6-148 smart_indexer_lib]# hadoop fs -ls /tmp/smart_indexer_lib
3.修改目录属主
[root@ip-172-31-6-148 jars]# sudo -u hdfs hadoop fs -chown -R hue:supergroup /tmp/smart_indexer_lib
[root@ip-172-31-6-148 jars]# hadoop fs -ls /tmp/smart_indexer_lib
3.修改Hue配置
1.登录Hue Server所在的服务器,修改/etc/hue/conf目录下的hue.ini文件
[root@ip-172-31-6-148 smart_indexer_lib]# cd /etc/hue/conf/
[root@ip-172-31-6-148 conf]# ll
total 72
-rwxr-xr-x 1 root root 61986 Dec 10 17:19 hue.ini
-rwxr-xr-x 1 root root 1843 Oct 4 20:12 log4j.properties
-rwxr-xr-x 1 root root 1809 Oct 4 20:12 log.conf
[root@ip-172-31-6-148 conf]# vim hue.ini
###########################################################################
# Settings to configure Solr Indexer
###########################################################################
[indexer]
enable_new_indexer=true
config_indexer_libs_path=/tmp/smart_indexer_lib
找到如上图标注部分,将enable_new_indexer设置为true,config_indexer_libs_path目录设置为HDFS上依赖库所在目录。
注意:这里需要将所有Hue Server服务的配置文件进行修改。
你也可以通过CM来配置:Hue Service →Configuration → Service-Wide → Advanced → Hue Service Advanced ConfigurationSnippet (Safety Valve) for hue_safety_valve.ini
4.Hue集成Solr
1.登录Cloudera Manager进入Solr服务
2.点击“配置”
点击“保存更改”,重启Hue服务
5.功能测试
1.在HDFS创建solrtest.csv测试文件
2.进入Indexs界面
3.点击“Create Index”,选择类型为“File”
4.选择HDFS上的数据文件
5.点击“Next”,进入下一步
6.点击“Submit”提交作业
等待作业执行成功
7.作业执行成功,可以看到数据已加载到solrtest的Collection中
搜索测试
为天地立心,为生民立命,为往圣继绝学,为万世开太平。
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
- 如果正确读取SQL Server中的扩展事件?
- android自定义xmls文件属性
- 分布式系统中的RPC请求经常出现乱序的情况 写一个算法来将一个乱序的序列保序输出
- jsoup详解
- 用LogParser对IIS 日志进行分析
- android异步任务asyntask详解
- 在Mono 2.8上部署ASP.NET MVC 2
- java虚拟机构造原理
- java造成内存泄露原因
- opensuse nginx+mono 2.8支持aspx环境的配置
- android-async-http详解
- java线程间通信
- android scrollview嵌套listview计算高度的问题
- 手把手教你安装深度学习软件环境(附代码)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- tensorflow 使用CPU而不使用GPU的问题解决
- Python图像灰度变换及图像数组操作
- 典型算法的Python实现
- Spring是如何解决循环依赖的
- Python将两个列表转换为字典
- 三、基于promise封装属于自己的Ajax库
- 数据分析 常见异常及解决办法(一)
- Python数据分析实战(2)使用Pandas进行数据分析
- 【redis】redis内存管理、淘汰机制、内存优化
- 如何防止网站被扒的解决方法!
- 【python-面试题53-循环排序】寻找缺失的数
- 【python-leetcode42-区间合并】区间列表的交集
- 【python-leetcode202-快慢指针】快乐数
- vuejs之结合使用vue+element-ui搭建后台管理页面
- 【python-leetcode142-快慢指针】环形链表2