一.前期准备
1.Windows Sever 2012 64位(Kettle_Master) 一定要有除C盘以外的其他盘存在,关闭服务器防火墙
2.Centos7.2 64位(Kettle_Slave)需要以rpm方式安装webkitgtk(安装包见附件),关闭服务器防火墙
3.Jdk1.8(window版和linux版都需要)
Windows版安装教程:https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html
Centos版安装教程
https://blog.csdn.net/weixin_38168694/article/details/100891532
4.Kettle7.1(安装包见附件,安装包在windows、linux下通用)
5.Mysql、Oracle等常见数据库驱动jar包见附件,若没有请自行下载并放到kettle安装好的lib路径下
6.附件下载地址:
https://pan.baidu.com/s/1ehlFvrF-7rj-wEMuqhpX5g 提取码:z7xz
二.Master配置
1.在windows sever 2012非C盘路径下创建kettle文件夹;
2.把附件中的pdi-ce-7.1.0.0-12.zip解压后的pdi-ce-7.1.0.0-12文件拷贝到第一步创建的kettle文件夹下;
3.把kettle/pdi-ce-7.1.0.0-12/data-integration下的pwd文件夹替换成附件中的pwd;
4.编辑C:\Windows\System32\drivers\etc\hosts,在文件末尾添加一行本机IP地址与主机名
例如10.10.10.38 master
5.启动Master有两种方法
(1)通过配置文件启动
Cmd cd到kettle/pdi-ce-7.1.0.0-12/data-integration下,输入Carte.bat ./pwd/carte-config-master-9090.xml,出现监听端口号,浏览器输入IP地址:端口号出现登录弹框,用户名:cluster密码:cluster 成功登录表示Master启动成功。
(2)通过主机名 IP地址 端口号启动
Cmd cd到kettle/pdi-ce-7.1.0.0-12/data-integration下,输入Carte.bat master 9090,出现监听端口号浏览器输入IP地址:端口号出现登录弹框,用户名:cluster密码:cluster 成功登录表示Master启动成功。
三.Slave配置
1.在root文件夹下创建kettle文件夹 mkdir kettle;
2.将附件中的pdi-ce-7.1.0.0-12.zip解压后的pdi-ce-7.1.0.0-12文件拷贝到第一步创建的kettle文件夹下;
3.配置好windows后把C:\Users\Administrator.kettle下的repositories.xml文件拷贝到linux下root/.kettle下面。
4.Cd 到kettle/pdi-ce-7.1.0.0-12/data-integration下,通过ftp形式把pwd文件替换成附件中的pwd;
5.编辑centos hosts文件 vim /etc/hosts,在文件末尾添加一行本机IP地址与主机名,例如10.10.10.39 slave1
6.启动Master有两种方法
(3)通过配置文件启动
Cmd cd到kettle/pdi-ce-7.1.0.0-12/data-integration下,输入./Carte.sh ./pwd/carte-config-9091.xml,出现监听端口号,浏览器输入IP地址:端口号出现登录弹框,用户名:cluster密码:cluster 成功登录表示Master启动成功。
(4)通过主机名 IP地址 端口号启动
Cmd cd到kettle/pdi-ce-7.1.0.0-12/data-integration下,输入Carte.bat slave1 9091,出现监听端口号浏览器输入IP地址:端口号出现登录弹框,用户名:cluster密码:cluster 成功登录表示Master启动成功。
Slave节点不止一台,多台重复上述步骤,端口号依次修改即可,本教程是一台Windows Master,三台 Centos Slave,若实际操作配置不同对pwd文件做针对性操作即可。
四.集群任务配置
1.Windows Sever 2012上进入kettle/pdi-ce-7.1.0.0-12/data-integration下,启动spoon.bat;
2.出现图形化界面后右上方登录连接数据库,用户名密码默认均为admin,连接数据库测试错误请回看前期准备工作说明;
3.连接成功后登录,创建交换任务,表输入、数据排序、表输出设置
https://blog.csdn.net/lixuemei504/article/details/38271145
4.将上述链接中的集群配置的主机名、IP、端口号全部换成配置文件的设置;
5.新建执行配置,选择集群节点,执行成功,对应节点输出日志,到此Kettle集群搭建成功。
五.注意事项
1.Master与Slave上的配置要同步,pwd、配置文件、数据库驱动。
2.对服务器上kettle进行修改操作后一定要重启kettle服务
3.为了集群正常使用建议在Master上用Xshell控制Slave
六.遗留问题
1.网站访问中文会乱码但不影响任务流程;

GitHub 加速计划 / li / linux-dash
10.39 K
1.2 K
下载
A beautiful web dashboard for Linux
最近提交(Master分支:2 个月前 )
186a802e added ecosystem file for PM2 4 年前
5def40a3 Add host customization support for the NodeJS version 4 年前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐