0
阿里云开源离线同步工具DataX3.0，或成未来数据库同步主流工具
DataX3.0简介DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。本次介绍为阿里云开源全新版本DataX3.0，有了更多更强大的功能和更好的使用体验。DataX3.0概览设计理念 与 框架设计为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。DataX本身作为离线数据同步框架...
0
支付宝健康码中的大数据技术
从1月开始的疫情让很多人的生活都按下了暂停键。许多行业已经遭遇不小创伤，尤其是餐饮、住宿、旅游、娱乐等行业。但是在互联网行业，由于信息技术的特殊性，利用互联网实现远程办公，远程工作成为了这一波疫情中很突出的一道风景线。而在高度细分的IT产业中，最为引人注目的就是大数据技术人员！为什么这么说呢？且听我慢慢道来。举例来说，经历了3个月的疫情影响，国内很多城市已经开始陆续解封，各地复工的人员也越来越多，但是国外疫情却开始大规模蔓延，疫苗开发实现全体免疫还有待时日。所以为了防止好不容易控制住的疫情出现反弹，各类基于大数据的应用层出不穷，在这些应用中使用最广泛的就是“健康码”这个应用。我们来看下“健康码...