0

基于 Flink SQL CDC的实时数据同步方案

Flink 1.11 引入了 Flink SQL CDC,CDC 能给我们数据和业务间能带来什么变化?本文由 Apache Flink PMC,阿里巴巴技术专家伍翀 (云邪)分享,内容将从传统的数据同步方案,基于 Flink CDC 同步的解决方案以及更多的应用场景和 CDC 未来开发规划等方面进行介绍和演示。传统数据同步方案基于 Flink SQL CDC 的数据同步方案(Demo)Flink SQL CDC 的更多应用场景Flink SQL CDC 的未来规划直播回顾:https://www.bilibili.com/video/BV1zt4y1D7kt/传统的数据同步方案与 Flink ...

阅读全文>>

1

SQL 之后,GQL 成为 ISO/IEC 国际标准数据库语言项目

GQL 很大程度上借鉴了现有的语言,主要的灵感来自 Cypher(现在实现版本有 10 多个,包括 6 个商业产品)、Oracle 的 PGQL 和 SQL 本身。GQL 项目是自 SQL 之后的第一个 ISO/IEC 国际标准数据库语言项目。 今年 6 月,隶属 ISO/IEC 联合技术委员会 1(负责定制 IT 标准)的全球诸多国家性标准机构开始就 GQL 项目提案进行表决,有七个国家派出专家参与这项为期四年的项目。在本周投票结束,提案获得通过。 共有十个国家投出了赞成票,其中包括中国、韩国、瑞典、美国、...

阅读全文>>

13

Mysql通用查询语句集锦(数据库字符集相关)

有些常用的Mysql语句,想想也是很简单的,但实际使用,并不是都记得,还是留个记录。 1、检查字符集: -- 检查字符集 SHOW VARIABLES WHERE Variable_name LIKE 'character_set_%' OR Variable_name LIKE 'collation%'; 2、查询某个数据库里面的所有表 -- 查询数据库里面的所有表 select table_name from information_schema.tables where table_schema='tablename' 3、查询某个表的所有字段的字...

阅读全文>>

1

开源的ETL工具

这里记录一些开源的ETL工具: 1、Kettle Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。 Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。 2、taskctl TASKCTL是ETL调度领域专业的调度产品,适合各行业企业级、项目级ETL调度平台建设。该产品概念新颖,体系完整、功能全面、使用简单、操作流畅,超前的设计使产品在业界独树一帜,它不仅有完整的调度核心、...

阅读全文>>

2

oracle 11g的一些问题说明

刚接触Oracle的时候,并不是很了解,毕竟平时比较少接触。当时在官网上下载了数据库安装文件,由于对32位和64位没有区分清楚,因此在64位的服务器上安装了32位的Oracle 11g版本。 安装好之后,一切功能用起来都很正常。但现在却到了一个问题,就是使用goldengate的时候,无法开启ddl模式,因为goldengate软件在新版本当中已经不怎么支持32位的Oracle 11g了。 虽然可以通过升级数据库来解决此问题,但由于项目已经上线,必须要花费一些时间来切换。 因此在此记录一下,如果是64位的服务器,建议直接安装64位的版本,Oracle 11g...

阅读全文>>

41

TNS 监听程序当前无法识别连接描述符中请求服务

今天早上一来,就接到电话,反馈系统出现异常。经检查,发现是Oracel的数据连接出现问题了,一连接则提示“TNS 监听程序当前无法识别连接描述符中请求服务”。首先我想到的就是Oracle数据库服务被停止了,于是进入数据服务器,发现监听服务、数据库实例服务都是正常运行。从错误来看,问题应该是出在监听服务上,于是我重启了监听服务,但错误依然没有消除。 为了尽快解决问题,我把所有可能的服务都重启了,然后就莫名的好了。 到现在也还一直没找到根本原因。先留个记录。

阅读全文>>

194

SqlServer清除日志的方法

如果使用的是Sql Server数据库,相信数据操作很频繁的时候,就会有大量日志产生,比如某个项目,数据1个G左右,日志却达到了25G以上了,单纯从操作上来看,此时的日志似乎也影响不大,但再过半年之后、一年之后,数据操作是否还会很流畅呢? 不管如何,日志文件的庞大,始终感觉多多少少会有点影响。我不是DBA,也没有过于深入的研究它到底有多少影响,但让数据保持一个良好的身材应该也是一种好的选择吧。因此网上搜索了一些清除日志的方法,以下这个方法经过实际使用,还是可行的: USE[master] GO ALTER DATABASE db_name SET RECOVERY SIM...

阅读全文>>