ITKeyword,专注技术干货聚合推荐

注册 | 登录

spark - sql开启thriftServer服务

功夫小当家 分享于

2021腾讯云限时秒杀,爆款1核2G云服务器298元/3年!(领取2860元代金券),
地址https://cloud.tencent.com/act/cps/redirect?redirect=1062

2021阿里云最低价产品入口+领取代金券(老用户3折起),
入口地址https://www.aliyun.com/minisite/goods

推荐:Spark thriftserver连elasticsearch

1.需要将elasticsearch-hadoop-2.1.0.Beta4.jar包放入/usr/local/spark/lib,下载地址为:https://www.elastic.co/products/hadoop/ 2.需要在/usr/local/spark/c

1.开启thriftServer服务 命令:./start-thriftserver.sh --master local[2]

2.启动后,查看服务的http://hd1:4040

页面

3.启动spark bin目录下的beeline: 命令:bin/beeline -u jdbc:hive2://localhost:10000 -n root

4.连接成功后,多次执行sql(我本地测试用的select

推荐:sparkSQL1.1入门之七:ThriftServer和CLI

spark1.1相较于spark1.0,最大的差别就在于spark1.1增加了万人期待的CLI和ThriftServer。使得hive用户还有用惯了命令行的RDBMS数据库管理员很容易地上手sp

* from a),然后查看服务的 http://hd1:4040/SQL/

和 http://hd1:4040/sqlserver/ 页面

通过这个页面可以发现几点: 可以区分出提交的用户 页面展示是有序的,按照时间倒叙(最新的展示在最前面) 但是没有分页(我本地测试提交了200多次,依然没看到分页) 即使关闭了beeline连接,因为thriftServer服务还在,所以依然可以看到已交的sql的执行情况

推荐:[spark]Spark thriftserver(HiveServer2) Custom认证

默认如果不配置的话,是不进行认证的。所以用beeline连接thriftserver时,可以填写任意用户名/密码,均可以认证成功。 下面是进行Custom认证配置的过程: 1.新建

1.开启thriftServer服务 命令:./start-thriftserver.sh --master local[2]   2.启动后,查看服务的http://hd1:4040  页面   3.启动spark bin目录下的beeline: 命令:bin/beeline -u jdbc:hive

相关阅读排行


相关内容推荐

最新文章

×

×

请激活账号

为了能正常使用评论、编辑功能及以后陆续为用户提供的其他产品,请激活账号。

您的注册邮箱: 修改

重新发送激活邮件 进入我的邮箱

如果您没有收到激活邮件,请注意检查垃圾箱。