0

阿里云开源离线同步工具DataX3.0,或成未来数据库同步主流工具

DataX3.0简介DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。本次介绍为阿里云开源全新版本DataX3.0,有了更多更强大的功能和更好的使用体验。DataX3.0概览设计理念 与 框架设计为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候,只需要将此数据源对接到DataX,便能跟已有的数据源做到无缝数据同步。DataX本身作为离线数据同步框架...

阅读全文>>

0

支付宝健康码中的大数据技术

从1月开始的疫情让很多人的生活都按下了暂停键。许多行业已经遭遇不小创伤,尤其是餐饮、住宿、旅游、娱乐等行业。但是在互联网行业,由于信息技术的特殊性,利用互联网实现远程办公,远程工作成为了这一波疫情中很突出的一道风景线。而在高度细分的IT产业中,最为引人注目的就是大数据技术人员!为什么这么说呢?且听我慢慢道来。举例来说,经历了3个月的疫情影响,国内很多城市已经开始陆续解封,各地复工的人员也越来越多,但是国外疫情却开始大规模蔓延,疫苗开发实现全体免疫还有待时日。所以为了防止好不容易控制住的疫情出现反弹,各类基于大数据的应用层出不穷,在这些应用中使用最广泛的就是“健康码”这个应用。我们来看下“健康码...

阅读全文>>