flink配合druid连接池的使用
druid
阿里云计算平台DataWorks(https://help.aliyun.com/document_detail/137663.html) 团队出品,为监控而生的数据库连接池
项目地址:https://gitcode.com/gh_mirrors/druid/druid
免费下载资源
·
博主之前在flink集成连接池的使用,一直存在一个误区,就是为了减少程序对资源的创建,所有加载资源或者获取连接都放在了flink的open方法中,虽然这样可以减少资源的使用,也可以满足大多数场景,但是如:mysql的connection长时间不用,该connection 会被mysql数据库本身给回收。
先简单介绍一下Druid:
DRUID是阿里巴巴开源平台上一个数据库连接池实现,它结合了C3P0、DBCP、PROXOOL等DB池的优点,同时加入了日志监控,可以很好的监控DB池连接和SQL的执行情况,可以说是针对监控而生的DB连接池(据说是目前最好的连接池,不知道速度有没有BoneCP快)。
配置参数
和其它连接池一样DRUID的DataSource类为:com.alibaba.druid.pool.DruidDataSource,基本配置参数如下:
本人的使用:
@Override
public void open(Configuration parameters) throws Exception {
dataSource = new DruidDataSource();
dataSource.setDriverClassName("com.mysql.jdbc.Driver");
dataSource.setUrl("****");
dataSource.setUsername("***");
dataSource.setPassword("****");
dataSource.setInitialSize(10); //初始化时建立物理连接的个数。初始化发生在显示调用init方法,或者第一次getConnection时
dataSource.setMinIdle(10); //最小连接池数量
dataSource.setMaxActive(20); //最大连接池数量
dataSource.setMaxWait(1000 * 20); //获取连接时最大等待时间,单位毫秒。配置了maxWait之后,缺省启用公平锁,并发效率会有所下降,如果需要可以通过配置useUnfairLock属性为true使用非公平锁。
dataSource.setTimeBetweenEvictionRunsMillis(1000 * 60); //有两个含义:1) Destroy线程会检测连接的间隔时间2) testWhileIdle的判断依据,详细看testWhileIdle属性的说明
dataSource.setMaxEvictableIdleTimeMillis(1000 * 60 * 60 * 10); //<!-- 配置一个连接在池中最大生存的时间,单位是毫秒 -->
dataSource.setMinEvictableIdleTimeMillis(1000 * 60 * 60 * 9); //<!-- 配置一个连接在池中最小生存的时间,单位是毫秒 -->
dataSource.setTestWhileIdle(true); // <!-- 这里建议配置为TRUE,防止取到的连接不可用 -->
dataSource.setTestOnBorrow(true);
dataSource.setTestOnReturn(false);
dataSource.setValidationQuery("select 1");
}
在flink的open方法创建连接池,在使用的时候通过getConnection获取连接,使用完之后调用.close方法,将连接归还给连接池。
GitHub 加速计划 / druid / druid
3
3
下载
阿里云计算平台DataWorks(https://help.aliyun.com/document_detail/137663.html) 团队出品,为监控而生的数据库连接池
最近提交(Master分支:4 个月前 )
9faeba9f - 2 天前
5a1a5f0f - 2 天前
更多推荐
已为社区贡献1条内容
所有评论(0)