高效率:使用DBeaver连接spark-sql
dbeaver
DBeaver 是一个通用的数据库管理工具,支持跨平台使用。* 支持多种数据库类型,如 MySQL、PostgreSQL、MongoDB 等;提供 SQL 编辑、查询、调试等功能;支持数据迁移和比较。* 特点:免费开源;界面友好;功能丰富。
项目地址:https://gitcode.com/gh_mirrors/db/dbeaver
免费下载资源
·
提高运行效率一般采取底层使用spark引擎替换成hive引擎的方式提高效率,但替换引擎配置较为复杂考虑到兼容版本且容易出错,所以本篇将介绍使用DBeaver直接连接spark-sql快速操作hive数据库。
在spark目录下运行以下命令,创建一个SparkThirdService端口号为10016
sudo -u root ./sbin/start-thriftserver.sh \
--hiveconf hive.server2.thrift.port=自定义端口号 \
--hiveconf hive.server2.thrift.bind.host=主机ip地址 \
--hiveconf spark.sql.warehouse.dir=hdfs://主机IP地址:hadoop端口/hive在hdfs下的路径目录
--master yarn \
--executor-memory 4G \
--conf spark.sql.shuffle.partitions=10
主机地址和端口自己按照自己的环境需要更改
每次重启后运行启动都要执行,可自己编写为sh文件执行
在/home下创建一个client-saprk-sql
vi /home/client-saprk-sql
将启动SparkThirdService内容写入到文件中:
这里写了该文件的绝对路径
sudo -u root /opt/module/spark/sbin/start-thriftserver.sh \
--hiveconf hive.server2.thrift.port=10016 \
--hiveconf hive.server2.thrift.bind.host=192.168.10.137 \
--hiveconf spark.sql.warehouse.dir=hdfs://192.168.10.137:9000/user/hive/warehouse \
--master yarn \
--executor-memory 4G \
--conf spark.sql.shuffle.partitions=10
执行:
sh /home/client-saprk-sql
编辑连接:
测试连接成功
建个表插入数据测试一下:
CREATE TABLE test_table (
id STRING,
name STRING
);
INSERT INTO test_table VALUES ('1', 'John');
INSERT INTO test_table VALUES ('2', 'Jane');
使用spark-sql方式操作hive插入速度非常快
GitHub 加速计划 / db / dbeaver
21
1
下载
DBeaver 是一个通用的数据库管理工具,支持跨平台使用。* 支持多种数据库类型,如 MySQL、PostgreSQL、MongoDB 等;提供 SQL 编辑、查询、调试等功能;支持数据迁移和比较。* 特点:免费开源;界面友好;功能丰富。
最近提交(Master分支:4 个月前 )
4c33020d
4 个月前
83d4cee8
4 个月前
更多推荐
已为社区贡献4条内容
所有评论(0)