centos7.9安装DataX
  nQkVcpdWfLDr 2023年11月02日 34 0

DataX 是阿里云 DataWorks数据集成 的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。

DataX目前已经有了比较全面的插件体系,主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入,目前支持数据如下图:

类型

数据源

Reader(读)

Writer(写)

文档

RDBMS 关系型数据库

MySQL



​读​​​ 、​​写​

           

Oracle    

    √    

    √    

​读​​​ 、​​写​

           

OceanBase  

    √    

    √    

​读​​​ 、​​写​

SQLServer



​读​​​ 、​​写​

PostgreSQL



​读​​​ 、​​写​

DRDS



​读​​​ 、​​写​

Apache Doris


​写​

StarRocks


​写​

通用RDBMS(支持所有关系型数据库)



​读​​​ 、​​写​

阿里云数仓数据存储

ODPS



​读​​​ 、​​写​

ADS


​写​

OSS



​读​​​ 、​​写​

OCS


​写​

NoSQL数据存储

OTS



​读​​​ 、​​写​

Hbase0.94



​读​​​ 、​​写​

Hbase1.1



​读​​​ 、​​写​

Phoenix4.x



​读​​​ 、​​写​

Phoenix5.x



​读​​​ 、​​写​

MongoDB



​读​​​ 、​​写​

Hive



​读​​​ 、​​写​

Cassandra



​读​​​ 、​​写​

无结构化数据存储

TxtFile



​读​​​ 、​​写​

FTP



​读​​​ 、​​写​

HDFS



​读​​​ 、​​写​

Elasticsearch


​写​

时间序列数据库

OpenTSDB


​读​

TSDB



​读​​​ 、​​写​

TDengine



​读​​​ 、​​写​

1.环境准备

JDK(1.8以上,推荐1.8)

Python(2或3都可以)            #centos7默认已经安装了Python2

2.下载DataX

下载地址:​​http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz​

centos7.9安装DataX_python

3.安装

tar -zxvf datax.tar.gz

验证是否安装成功

python /opt/datax/bin/datax.py /opt/datax/job/job.json

如果遇到报错可以参考次文章:​​https://blog.51cto.com/u_13753753/5761114​

官方地址:​https://github.com/alibaba/DataX/blob/master/userGuid.md​

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读
nQkVcpdWfLDr