kettle调度现状、痛点及解决方法
kettle作为非常优秀的开源ETL工具得到了非常广泛的使用,一般的使用的都是使用客户端操作管理,但问题是当投入生产环境使用时,动辄上百或几百个job需要管理,这时在使用客户端管理已经很难完成了。
我所知道的解决方案有用命令行的调用的,操作麻烦,体验很差(基于命令行上构架出来的一般都用Linux的crontab、或者是Windows下用定时器等);还有就是开发web端管理工具,kettle自带了一个web端管理工具,界面极其简陋不说,还很难用,基本无法投入生产环境使用。
上述方法不能满足后,我开始寻求第三方工具,发现其实调度界的产品还是有很多,有Control-M、TASKCTL等专注调度的老牌厂商;有外包项目集成的Moia、ETS、WFT、IBM集成的调度工具;也有开源的Oozie、Zeus、Azkaban。
挨个查看一下资料后,感觉taskctl应该算里面比较简单的,试用后taskctl,还不错,他们家不仅仅对Kettle支持不错,基本上市面上常见的数据库、各种类似的大数据、ETL工具、各种脚本语言都有这不错的支持力度,即使不支持的,也可以自己扩展。
下面是一些在查找资料过程中收集到的帖子,也一并分享个大家。
作业调度框架:http://blog.csdn.net/victory0508/article/details/8590974
调度工具中美PK ( TASKCTL VS Control-M): http://www.itpub.net/thread-1756140-1-1.html
说说ETL调度工具TASKCTL的五宗最: http://www.itpub.net/thread-1778332-1-1.html
Taskctl调用kettle的例子:http://www.taskctl.com/forum/detail_67.html
如果有什么地方说的不对,请大家多多指正,共同学习进步!
更多推荐
所有评论(0)