DataX-Web部署和使用
免费下载资源
目录
（一）将jdk安装包上传到opt下或用wget下载将jdk压缩包授权并解压
（四）查看java版本，执行下面命令出现jdk版本即安装成功
（四）MySQL 安装会通过 MySQL 用户在 /tmp 下建 tmp_db 文件，故需要给 /tmp 目录权限：
（七）开始安装，使用 rpm 命令按顺序依次安装 4 个包：
（十三）安装好mysql登录，新增数据库，我新增的是kmt,在kmt下创建了table1和table2表；
（二）删除datax/plugin下._的隐藏文件,否则数据读取写入时会报错
（二）进入/home/datax-web-2.1.2/bin目录启动datax-web
（三）在浏览器访问http://当前主机ip:datax-web端口/index.html
一、准备
（一）一台centos 7主机、连网
（二）关闭防火墙
systemctl stop firewalld.service 关闭防火墙
systemctl disable firewalld.service 禁用防火墙
systemctl status firewalld.service 查看防火墙状态
二、jdk安装配置
（一）将jdk安装包上传到opt下或用wget下载将jdk压缩包授权并解压
wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.rpm
chmod +x jdk-8u131-linux-x64.rpm
rpm -ivh jdk-8u131-linux-x64.rpm（二）配置环境变量，在profile最后面添加
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_131
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
（三）让配置生效
source /etc/profile（四）查看java版本，执行下面命令出现jdk版本即安装成功
java -version三、mysql5.7安装配置
（一）查找已经安装的mysql安装包
rpm -qa|grep mysql
（二）CentOS7下还需要查找是否存在mariadb包：
rpm -qa|grep mariadb
（三）上述两步骤如果查出了mysql则需要将对应的文件删除
（四）MySQL 安装会通过 MySQL 用户在 /tmp 下建 tmp_db 文件，故需要给 /tmp 目录权限：
chmod -R 777 /tmp
（五）依赖库的检查与下载
rpm -qa|grep libaio
rpm -qa|grep net-tools
yum -y install libaio net-tools//不存在需下载
（六）下载mysql安装包及解压
wget http://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar
tar -xvf mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar
下载解压后会有四个rpm包
mysql-community-common-5.7.16-1.el6.x86_64.rpm
mysql-community-libs-5.7.16-1.el6.x86_64.rpm
mysql-community-client-5.7.16-1.el6.x86_64.rpm
mysql-community-server-5.7.16-1.el6.x86_64.rpm
（七）开始安装，使用 rpm 命令按顺序依次安装 4 个包：
rpm -ivh mysql-community-common-5.7.16-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.16-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.16-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.16-1.el7.x86_64.rpm
（八）查看是否安装成功
mysqladmin –version
（九）初始化mysql
mysqld --initialize --user=mysql
这里会产生一个mysql的临时密码，一定要复制出来，如果忘记了可以查看我的关于忘记MySQL的博客
（十）启动MySQL服务
systemctl start mysqld.service
systemctl stop mysqld.service
systemctl status mysqld
systemctl list-unit-files|grep mysqld.service
（十一）登录：
首次登录需用前面生成的临时密码mysql -uroot -p 临时密码，临时密码重启mysql就改变了，故需要修改为固定的密码：
ALTER USER 'root'@'localhost' IDENTIFIED BY 'new_password';
若设置密码太短等因素导致修改不成功，则修改以下参数
set global validate_password_policy=LOW; // 设置密码的验证强度等级为低(LOW)
set global validate_password_length=6; // 设置密码长度为6，最小为4添加用户、设置字符集等就不在一一介绍了
（十二）重启MySQL服务：
systemctl restart mysqld
（十三）安装好mysql登录，新增数据库，我新增的是kmt,在kmt下创建了table1和table2表；
ceate database kmt;
use kmt;
CREATE TABLE `table1` (
`id` int(10) NULL DEFAULT NULL,
`name` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;
CREATE TABLE `table2` (
`id` int(10) NULL DEFAULT NULL,
`name` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_general_ci ROW_FORMAT = Dynamic;
（十四）给table1新增数据
table2
四、python2.7安装与配置
（一）安装依赖库及python安装包并解压
yum install gcc g++ zlib zlib-devel openssl-devel
wget https://www.python.org/ftp/python/2.7/Python-2.7.tgz
tar -zxvf Python-2.7.14.tgz
（二）创建安装文件夹及编译安装
#创建安装文件夹
mkdir /usr/local/python
cd Python-2.7.14
./configure --prefix=/usr/local/python/
make && make install安装完成之后进入目录，里面显示4个目录bin include lib share
（三）输入python -version显示版本即安装成功
五、datax安装
（一）下载安装datax工具
wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz（二）删除datax/plugin下._的隐藏文件,否则数据读取写入时会报错
rm -rf /usr/local/datax/plugin/*/._* （三）修改原job.json文件
{
"job": {
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"username": "数据库用户",
"password": "数据库密码",
"column": [//表中的字段
"id",
"name"
],
"connection": [
{
"table": [
"对应的表"
],
"jdbcUrl": [
"jdbc:mysql://ip/要读取的数据库?characterEncoding=utf8"
]
}
]
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"username": "数据库用户",
"password": "数据库密码",
"column": [//对应的字段
"id",
"name"
],
"connection": [
{
"table": [
"对应的表"
],
"jdbcUrl": "jdbc:mysql://ip/要写入的表?characterEncoding=utf8"
}
]
}
}
}
],
"setting": {
"speed": {
"channel": 1,
"byte": 104857600
},
"errorLimit": {
"record": 10,
"percentage": 0.05
}
}
}
}
（四）进入datax的bin目录下执行python脚本
python datax.py ../job/job.json
六、datax-web安装
（一）下载安装datax-web工具安装包并解压
（二）进入/home/datax-web-2.1.2/bin目录启动datax-web
./stop-all.sh 停止
./start-all.sh 启动
（三）在浏览器访问http://当前主机ip:datax-web端口/index.html
（四）执行器配置
（五）添加数据源
（六）添加项目
（七）创建datax模板
（八）任务构建，读取表的选择
写入表的选择
字段映射，勾选两表的全部字段
选择模板
构建
（九）在操作中编辑相关的内容
（十）手动执行一次后，成功后开启任务
七、数据验证
查看table2中已经同步了table1中的数据
测试设置的时间，到时间是会不会自动同步
table1
table2
任务已经开启，到时间查看已将table1新添加的数据同步到table2
GitHub 加速计划 / da / datax-web
5.5 K
2.12 K
下载
旨在为数千万中国开发者提供一个无缝且高效的云端环境，以支持学习、使用和贡献开源项目。
更多推荐
8
0- 0
已为社区贡献2条内容
所有评论(0)