0052-如何使用R连接Hive与Impala 0052-如何使用R连接Hive与Impala

偶然单身 2023-04-08 19:49:03

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

1.文档编写目的

继之前的文章讲述

如何在Redhat中配置R环境

和

如何在Redhat中安装R的包及搭建R的私有源

后，那我们如何使用R连接CDH集群中的Hive和Impala进行数据分析呢？本文档主要讲述如何使用R连接Hive和impala，并分别通过命令行和CDSW进行演示。
内容概述

1.驱动包准备

2.命令行测试

3.CDSW测试

4.常见问题
测试环境

1.CM和CDH版本5.11.2

2.采用sudo权限的ec2-user用户操作

3.R版本3.4.2

4.CDSW版本1.1.1
前置条件

1.R环境已配置

2.CDSW正常运行

3.集群未启用认证服务

2.驱动包准备

1.准备Hive的JDBC驱动和Impala的JDBC驱动

文件说明：

Cloudera_HiveJDBC41.zip支持JDK7或更高版本

Cloudera_HiveJDBC4.zip支持JDK6或更高版本

Cloudera-JDBC-Driver-for-Apache-Hive-Install-Guide.pdf说明文档

[ec2-user@ip-172-31-21-45 2.5.19.1053 GA]$ unzip Cloudera_HiveJDBC41.zip … inflating: commons-codec-1.3.jar inflating: commons-logging-1.1.1.jar inflating: HiveJDBC41.jar inflating: hive_metastore.jar inflating: hive_service.jar inflating: httpclient-4.1.3.jar inflating: httpcore-4.1.3.jar inflating: libfb303-0.9.0.jar inflating: libthrift-0.9.0.jar inflating: log4j-1.2.14.jar inflating: ql.jar inflating: slf4j-api-1.5.11.jar inflating: slf4j-log4j12-1.5.11.jar inflating: TCLIServiceClient.jar inflating: zookeeper-3.4.6.jar [ec2-user@ip-172-31-21-45 2.5.19.1053 GA]$

将解压的所有jar包移动到/home/ec2-user/hive-test/hivedriver目录

[ec2-user@ip-172-31-21-45 2.5.19.1053 GA]$ mv *.jar /home/ec2-user/hivedriver

3.命令行测试

1.运行R控制台，安装依赖包

> install.packages("DBI") > install.packages("RJDBC") > install.packages("rJava")

2.编写R连接Hive测试代码

[ec2-user@ip-172-31-21-45 hive-test]$ vim TestHive.R library("DBI") library("rJava") library("RJDBC") hive.class.path = list.files(path=c("/opt/cloudera/parcels/CDH/lib/hive/lib"),pattern="jar", full.names=T); cp = c(hive.class.path) .jinit(classpath=cp,parameters="-Djavax.security.auth.useSubjectCredsOnly=false") drv <- JDBC("org.apache.hive.jdbc.HiveDriver", "/home/ec2-user/hive-test/hivedriver/HiveJDBC41.jar",identifier.quote="`") conn <- dbConnect(drv, "jdbc:hive2://ip-172-31-21-45.ap-southeast-1.compute.internal:10000") show_databases <- dbGetQuery(conn, "show databases") show_databases tableCount <- dbGetQuery(conn, "select count(*) from tpcds_parquet.call_center") tableCount

运行测试代码

[ec2-user@ip-172-31-21-45 hive-test]$ Rscript TestHive.R Loading required package: methods … database_name 1 default 2 tpcds_parquet 3 tpcds_text _c0 1 24 [ec2-user@ip-172-31-21-45 hive-test]$

3.编写R连接Impala测试代码

[ec2-user@ip-172-31-21-45 hive-test]$ vim TestImpala.R library("DBI") library("rJava") library("RJDBC") impala.class.path = list.files(path=c("/home/ec2-user/hive-test/impaladriver"),pattern="jar", full.names=T) cp = c(impala.class.path) .jinit(classpath=cp,parameters="-Djavax.security.auth.useSubjectCredsOnly=false") drv <- JDBC("com.cloudera.impala.jdbc41.Driver", "/home/ec2-user/hive-test/impaladriver/ImpalaJDBC41.jar",identifier.quote="`") conn <- dbConnect(drv, "jdbc:impala://ip-172-31-26-102.ap-southeast-1.compute.internal:21050") show_databases <- dbGetQuery(conn, "show databases") show_databases tableCount <- dbGetQuery(conn, "select count(*) from tpcds_parquet.call_center") tableCount

运行测试代码

[ec2-user@ip-172-31-21-45 hive-test]$ Rscript TestImpala.R Loading required package: methods name comment 1 _impala_builtins System database for Impala builtin functions 2 default Default Hive database 3 tpcds_parquet 4 tpcds_text expr_0 1 24 [ec2-user@ip-172-31-21-45 hive-test]$

4.CDSW测试

1.登录CDSW，挂载主机的目录到CDSW会话Session中

CDSW服务所在服务器的目录

进入Admin->Engines，将driver目录挂载到CDSW上

2.登录CDSW创建一个R的工程

3.创建TestHive.r和TestImpala.r

4.启动会话

这个时候我们通过终端就能看到我们挂载的driver目录

5.在CDSW中安装依赖包

install.packages("DBI") install.packages("RJDBC") install.packages("rJava")

6.将命令行的测试代码复制到CDSW中的TestHive.r文件中，做相应修改

library("DBI") library("rJava") library("RJDBC") hive.class.path = list.files(path=c("/opt/cloudera/parcels/CDH/lib/hive/lib"),pattern="jar", full.names=T) cp = c(hive.class.path) .jinit(classpath=cp,parameters="-Djavax.security.auth.useSubjectCredsOnly=false") drv <- JDBC("org.apache.hive.jdbc.HiveDriver", "/driver/hivedriver/HiveJDBC41.jar",identifier.quote="`") conn <- dbConnect(drv, "jdbc:hive2://ip-172-31-21-45.ap-southeast-1.compute.internal:10000") show_databases <- dbGetQuery(conn, "show databases") show_databases tableCount <- dbGetQuery(conn, "select count(*) from tpcds_parquet.call_center") tableCount

7.运行TestHive.r

8.创建TestImpala.r，将命令行代码拷贝至CDSW中，并做相应修改

library("DBI") library("rJava") library("RJDBC") impala.class.path = list.files(path=c("/home/ec2-user/hive-test/impaladriver"),pattern="jar", full.names=T) cp = c(impala.class.path) .jinit(classpath=cp,parameters="-Djavax.security.auth.useSubjectCredsOnly=false") drv <- JDBC("com.cloudera.impala.jdbc41.Driver", "/driver/impaladriver/ImpalaJDBC41.jar",identifier.quote="`") conn <- dbConnect(drv, "jdbc:impala://ip-172-31-26-102.ap-southeast-1.compute.internal:21050") show_databases <- dbGetQuery(conn, "show databases") show_databases tableCount <- dbGetQuery(conn, "select count(*) from tpcds_parquet.call_center") tableCount

9.运行TestImpala.r

5.常见问题

1.安装rJava包的时候报错

cpp flags : '-I/usr/java/jdk1.6.0_31/jre/../include -I/usr/java/jdk1.6.0_31/jre/../include/linux' java libs : '-L/usr/java/jdk1.6.0_31/jre/lib/amd64/server -ljvm' configure: error: One or more Java configuration variables are not set. Make sure R is configured with full Java support (including JDK). Run R CMD javareconf as root to add Java support to R. If you don't have root privileges, run R CMD javareconf -e to set all Java-related variables and then install rJava. ERROR: configuration failed for package ‘rJava’ * removing ‘/usr/local/R-3.4.2/lib64/R/library/rJava’

解决方法：

使用root用户执行命令

[root@ip-172-31-21-45 ec2-user]# source /etc/profile [root@ip-172-31-21-45 ec2-user]# R CMD javareconf … JAVA_HOME : /usr/java/jdk1.7.0_67-cloudera/jre Java library path: $(JAVA_HOME)/lib/amd64/server JNI cpp flags : -I$(JAVA_HOME)/../include -I$(JAVA_HOME)/../include/linux JNI linker flags : -L$(JAVA_HOME)/lib/amd64/server -ljvm Updating Java configuration in /usr/local/R-3.4.2/lib64/R Done. [root@ip-172-31-21-45 ec2-user]#

醉酒鞭名马，少年多浮夸！岭南浣溪沙，呕吐酒肆下！挚友不肯放，数据玩的花！

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

您可能还想看

安装

CENTOS6.5安装CDH5.12.1(一)

CENTOS6.5安装CDH5.12.1(二)

CENTOS7.2安装CDH5.10和Kudu1.2(一)

CENTOS7.2安装CDH5.10和Kudu1.2(二)

如何在CDH中安装Kudu&Spark2&Kafka

如何升级Cloudera Manager和CDH

如何卸载CDH(附一键卸载github源码)

如何迁移Cloudera Manager节点

如何在Windows Server2008搭建DNS服务并配置泛域名解析

安全

如何在CDH集群启用Kerberos

如何在Hue中使用Sentry

如何在CDH启用Kerberos的情况下安装及使用Sentry(一)

如何在CDH启用Kerberos的情况下安装及使用Sentry(二)

如何在CDH未启用认证的情况下安装及使用Sentry

如何使用Sentry管理Hive外部表权限

如何使用Sentry管理Hive外部表（补充）

如何在Kerberos与非Kerberos的CDH集群BDR不可用时复制数据

Windows Kerberos客户端配置并访问CDH

数据科学

如何在CDSW中使用R绘制直方图

如何使用Python Impyla客户端连接Hive和Impala

如何在CDH集群安装Anaconda&搭建Python私有源

什么是数据科学工作台？为什么数据科学家需要它？

其他

CDH网络要求(Lenovo参考架构)

大数据售前的中年危机

如何实现CDH元数据库MySQL的主备

如何在CDH中使用HPLSQL实现存储过程

如何在Hive&Impala中使用UDF

Hive多分隔符支持示例

推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。

原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操
,