0

如何在mysql 造1亿条记录的大容量数据表?

背景及目标:现有数据1000w单表,为压力测试准备1亿条数据。步骤:1.将1000w条记录,除id外都导入到多个文件中://DELIMITER DROP PROCEDURE if EXIST...

阅读全文>>

0

写出好的Join语句,前提你得懂这些

前言最近在读《MySQL性能调优与架构设计》,看到一个关于join的优化原则,如下:大白话解释下:因为驱动结果集越大,意味着需要循环的次数越多,也就是说在被驱动结果集上面所 需要执行的查询检...

阅读全文>>

0

简单列一下分布式高并发要做的事情

数据库以MySQL为例。慢查询日志,索引优化(explain),覆盖索引。数据库一主多从或者双主多从。读写分离。然后对表进行垂直划分,例如一张字段很多的宽表转为子母表。水平划分,根据业务特性...

阅读全文>>

0

深入理解Mysql数据存储

前言本文内容Mysql 数据文件说明Mysql 数据逻辑存储架构Mysql 表空间,主要是系统表空间和独立表空间Mysql 数据类型时区对 datetime 和 timestamp 影响,j...

阅读全文>>

0

MySQL模式开发设计规范问题与建议

1.时间类型的数据默认值是否可以为null?根据反馈,时间类型的数据默认值往往在业务上无法赋予一个确定的值,而”1970-01-01“、”0000-01-01“等等的默认值在开发过程中会增加...

阅读全文>>

0

带你扒一扒 MySQL 的数据在我们磁盘上到底长什么样子

前言在之前《大师,我悟了:为什么 MySQL 索引要用 B+tree ,而且还这么快?》一文中我从索引的各种数据结构和大家聊到了 MySQL 底层索引的数据结构 B+tree 和工作原理。里...

阅读全文>>

0

偶遇MySQL 的JSON字段内容检索,灵活存储也需有度

前言最近公司在做一项用户数据调查,需要统计某个值得使用频率,由于之前这个值是以一个JSON字符串形式存储的,所以不能直接用传统的方式匹配,幸亏现在数据库才做了升级版本到了5.7以后(支持JS...

阅读全文>>

0

MySQL数据实时增量同步到Elasticsearch

Mysql到Elasticsearch的数据同步,一般用ETL来实现,但性能并不理想,目前大部分的ETL是定时查询Mysql数据库有没有新增数据或者修改数据,如果数据量小影响不大,但如果几百...

阅读全文>>

0

mysql垂直分库,水平分库,垂直分表,水平分表

之前经常被问道这些分库分表的概念,只是大概知道,但是具体如何定义的,问什么这么定义还是不太理解,今天对着数据表中的数据沉思的时候,突然间醒悟,原来这些概念非常好理解,而且可以说水平和垂直这两...

阅读全文>>

0

基于 Flink 实现解决数据库分库分表任务拆分

1、场景描述例如订单库进行了分库分表,其实例如下图所示:现在的需求是希望创建一个任务就将数据同步到MQ集群,而不是为每一个数据库实例单独创建一个任务,将其数据导入到MQ集群,因为同步任务除...

阅读全文>>