Superset从入门到真香
一 superset概述
1.1 官网
https://superset.apache.org/
1.2 简介
Superset快速,轻巧,直观,并带有各种选项,使各种技能的用户都可以轻松浏览和可视化其数据,从简单的折线图到高度详细的地理空间图。
Apache Superset(Incubating)是一种现代的,可用于企业的商业智能Web应用程序。它快速,轻巧,直观,并带有各种选项,使所有技能的用户都可以轻松浏览和可视化其数据,从简单的饼图到高度详细的deck.gl地理空间图。
以下是Superset的主要功能的概述:
-
开箱即用的丰富数据可视化集合
-
易于使用的界面,用于浏览和可视化数据
-
创建和共享仪表板
-
与大型身份验证提供程序(数据库,OpenID,LDAP,OAuth和REMOTE_USER通过Flask AppBuilder集成)集成的企业级身份验证
-
可扩展的高粒度安全性/权限模型,允许有关谁可以访问单个要素和数据集的复杂规则
-
一个简单的语义层,允许用户通过定义哪些字段应显示在哪些下拉列表中以及哪些聚合和功能度量可供用户使用来控制如何在UI中显示数据源
-
通过SQLAlchemy与大多数说SQL的RDBMS集成
-
与Druid.io的深度集成
Superset是云原生的,旨在提供高可用性。它旨在扩展到大型的分布式环境,并且在容器内可以很好地工作。虽然您可以在适当的设置上或仅在笔记本电脑上轻松测试Superset驱动器,但扩展平台几乎没有限制。
从灵活性上讲,Superset还是云原生的,它使您可以选择:
-
网络服务器(Gunicorn,Nginx,Apache)
-
元数据数据库引擎(MySQL,Postgres,MariaDB等)
-
消息队列(Redis,RabbitMQ,SQS等)
-
结果后端(S3,Redis,Memcached等)
-
缓存层(Memcached,Redis等)
Superset还可以与NewRelic,StatsD和DataDog等服务一起很好地工作,并且能够针对大多数流行的数据库技术运行分析工作负载。
目前,Superset已在许多公司大规模运行。例如,Superset在Kubernetes内的Airbnb的生产环境中运行,每天为600多个活跃用户提供服务,每天查看超过10万张图表。
1.3 支持的数据库
二 服务器环境配置
2.1配置python3环境
安装superset必须是python3环境
mv /usr/bin/python /usr/bin/python.bak ln ‐s /usr/local/bin/python3 /usr/bin/python ln ‐s /usr/local/bin/pip3 /usr/bin/pip |
2.2 修改系统的python环境
vi /usr/bin/yum 第一行 改成:#! /usr/bin/python2 |
三superset安装
3.1安装
pip3 install apache-superset |
3.2 配置superset环境变量
3.3 初始化数据库
superset db upgrade |
3.4 创建管理员用户名密码
superset fab create-admin |
# Load some data to play with
superset load_examples |
# Create default roles and permissions
superset init |
3.5 启动
# debug模式启动
superset run ‐p 8088 ‐h 192.168.xxx.xxx ‐‐with‐threads ‐‐reload ‐‐debugger |
# 正常模式启动
superset run -p 8088 -h 192.168.xxx.xxx |
3.6 访问
访问:http://192.168.xxx.xxx:8088/
四 连接数据库
4.1 数据库驱动程序
Database | PyPI package | Connection String |
Apache Druid | pip install pydruid | druid://<User>:<password>@<Host>:<Port-default-9088>/druid/v2/sql |
Apache Hive | pip install pyhive | hive://hive@{hostname}:{port}/{database} |
Apache Impala | pip install impala | impala://{hostname}:{port}/{database} |
Apache Kylin | pip install kylinpy | kylin://<username>:<password>@<hostname>:<port>/<project>?<param1>=<value1>&<param2>=<value2> |
Apache Spark SQL | pip install pyhive | hive://hive@{hostname}:{port}/{database} |
ClickHouse | pip install sqlalchemy-clickhouse | clickhouse://{username}:{password}@{hostname}:{port}/{database} |
Elasticsearch | pip install elasticsearch-dbapi | elasticsearch+http://{user}:{password}@{host}:9200/ |
MySQL | pip install mysqlclient | mysql://<UserName>:<DBPassword>@<Database Host>/<Database Name> |
Oracle | pip install cx_Oracle | oracle:// |
PostgreSQL | pip install psycopg2 | postgresql://<UserName>:<DBPassword>@<Database Host>/<Database Name> |
Presto | pip install pyhive | presto:// |
4.2 clickhouse连接
4.2.1 驱动安装
pip install sqlalchemy-clickhouse |
The expected connection string is formatted as follows:
clickhouse://{username}:{password}@{hostname}:{port}/{database} |
4.2.2 连接方式
4.2.3 连接效果
4.3 postgresql连接
4.3.1 安装驱动
pip install psycopg2 |
postgresql://<UserName>:<DBPassword>@<Database Host>/<Database Name> |
4.3.2 连接方式
4.3.3 连接效果
五 创建数据集
5.1 开始
5.2 新增
5.3 效果
六 创建图表(charts)
6.1 词汇云
6.2 国家地图
准备地区/省/部门ISO3166-2代码
CN-11北京 CN-50重庆 CN-31上海 CN-12天津 CN-34安徽 CN-35福建 CN-62甘肃 CN-44广东 CN-52贵州 CN-46海南 CN-13河北 CN-23黑龙江 CN-41河南 CN-42湖北 CN-43湖南 CN-32江苏 CN-36江西 CN-22吉林 CN-21辽宁 CN-63青海 CN-61陕西 CN-37山东 CN-14山西 CN-51四川 CN-71台湾 CN-53云南 CN-33浙江 CN-45广西 CN-15内蒙古 CN-64宁夏 CN-65新疆 CN-54西藏 CN-91香港 CN-92澳门 |
将该编码通过省份名称关联上准备创建图表的表,在表中新增一个字段provice_code字段
配置图表
七 创建仪表盘(Dashboards)
7.1 新增Dashboards
7.2 配置Dashboards
7.3配置结果
7.4 两种添加charts到Dashboards的方法
7.4.1 编辑已保存的charts
编辑已保存的charts,选择Dashboards
返回Dashboards
查看Dashboards结果
7.4.2 新建保存charts的时候选择Dashboads
查看Dashboads
八 sql实验室(sql lab)
8.1 sql editor
8.2 saved queries
点击 pop tab link可以直接到达 sql编辑页面进行查询
8.3 query search
可以看到历史查询情况
更多推荐
所有评论(0)