ElasticSearch实用化订单搜索方案

前言:

站外推广系统订单报表一直是一个痛点,研究后选择ES搜索引擎进行改造。上线来遇到很多问题,经历了很多的修改,现在系统终于正常运行,满足订单报表大数据量、实时更新、响应快、多维度查询的需求。

文章原本是用ppt来编写的,这里只能修改为图片来展示。

一、为什么选择ES

搜索引擎中,主要考虑到ES支持结构化数据查询以及支持实时频繁更新特性:

ElasticSearch实用化订单搜索方案

二、总体系统架构

整个业务线使用服务化方式,ES集群和数据库分库,作为数据源被订单服务系统封装为对外统一接口;各前后台应用和报表中心,使用服务化的方式获取订单数据。

ElasticSearch实用化订单搜索方案

三、数据更新设计

ES数据更新有批量更新和实时更新两种:

1、手动更新为初始化数据,或者修复数据时使用

2、实时更新通过监控数据库订单表的binlog,进行实时同步

ElasticSearch实用化订单搜索方案

四、机器、索引、参数配置

ElasticSearch实用化订单搜索方案

五、索引结构图

ElasticSearch实用化订单搜索方案

六、机器性能选择

对于频繁更新一定要考虑到使用SSD

ElasticSearch实用化订单搜索方案

七、文档id选择

因为是订单数据,并且有频繁数据更新,所以我们选择自己指定的唯一id,具体对比如下:

ElasticSearch实用化订单搜索方案

八、实时更新数据方案

实时数据更新采用监听数据库binlog的方式实现:

ElasticSearch实用化订单搜索方案

ElasticSearch实用化订单搜索方案

九、数据一致性解决方案

不一致原因:

1、各域代码发布

2、网络延时

3、集群故障

4、vdp、vms丢数据

解决方案:

1、使用调度任务,每天对比三个月内每天的数据

2、如果存在数据不一致,自动批量同步当天数据

3、数据不一致,自动发送告警邮件

4、调度任务可随时手动终止

5、至今尚未出现不一致的情况

十、数据更新、查询接口

ElasticSearch实用化订单搜索方案

ElasticSearch实用化订单搜索方案

ElasticSearch实用化订单搜索方案

ElasticSearch实用化订单搜索方案

您可能还会对下面的文章感兴趣: