迪恩网络APP
随时随地掌握行业动态
扫描二维码
关注迪恩网络微信公众号
开源软件名称:dataprocess开源软件地址:https://gitee.com/lang_junnan/dataprocess开源软件介绍:dataprocess简介 项目初衷:随着业务系统的不断迭代,数据库的数据量也随着逐渐增大,就导致业务系统日常运行情况下很多接口查询请求缓慢,甚至读取超时 ,为了整体优化项目,提高系统性能 希望在系统中对于部分业务充分利用缓存操作或使用ElasticSearch搜索引擎来高效率的查询 那么问题来了,数据如何同步到ES,Redis或其他的容器中呢 数据同步:既然是搜索业务,读取缓存 那么对数据的实时性要求一定很高,所以这里我们使用 阿里巴巴开源的Canal让它去监听我们关系型数据库的主库例如 MySql-Master,实时读取数据库操作日志的变更,Canal就相当于关系型数据库的从库Slave,Canal经过很多次迭代已经很成熟了,Canal自身又对RocketMq和kafka做了集成 可以把数据库订阅的日志直接输送到我们MQ当中,使用者只需要去监听MQ的消息队列即可,本次项目集成的是RocketMQ dataprocess角色:Mysql-》Canal-》RocketMQ-》dataproces提供监听器模式和责任链模式,其中监听器模式自动订阅数据,使用者按要求使用即可。两种模式都对外提供 增 删 改 索引 回滚 异常捕获 前置拦截器 后置拦截器 等接口,其中拦截器功能默认不开启,使用者自己可以在配置文件中设置dataprocess主要充当着监听数据来源 适配数据源 解析数据 检验数据 托管代理本次执行的数据 然后创建执行责任链或者订阅监听器模式,两种模式其中一种就可以实现业务逻辑了,都是由使用者自己去定义的,只要编写的类实现了ChainTemplate责任链模板或者实现ObserverTemplate监听器模板并且是在com.dataprocess.databases.某个库包下的表包下的所有实现类都会形成一条链或者都会被监听器通知到,当前执行的链条或监听器是可以被dataprocess和Spring共同来管理的,没有执行的链条或监听器类由Spring自己来管理,所谓的当前执行链条或观察类就是监听到某个库中的某个表中的某一批或一条记录发生了变更,针对当前数据表的链条或观察类是会被dataprocess来执行的,每个链条或监听器的实现类都对外开放了一些接口方法例如: 添加 修改 删除 创建索引 异常捕获 拦截器 等操作,当某个 表发生了变化,就会以过滤链或者监听器的形式给使用者提供了 添加/修改/删除异常捕获 拦截器 等接口方法,使用者只需要 专注去做自己想要做的添加功能 删除功能 修改功能 异常记录功能 就可以了,另外dataproces也提供了缓存查询 和 ElasticSearch 复杂查询案例展示 项目涉及到的技术点:
系统结构 com.dataprocess.common ### 业务工具类 使用者可在该包下创建工具类com.dataprocess.core ### 核心包 如果不是对项目结构,架构层面修改的代码 不建议修改该包下的代码com.dataprocess.core.adapter ### 适配器类得扩展目前并没有做适配com.dataprocess.core.builder ### 方案建造者com.dataprocess.core.common ### 核心工具类com.dataprocess.core.factory ### 核心工厂 策略处理 com.dataprocess.core.interceptor ### 前置,后置核心拦截器com.dataprocess.core.handler ### 核心托管代理处理com.dataprocess.core.subject### 监听器订阅的主题 com.dataprocess.core.template### 核心模板 责任链模板 监听器 模板com.dataprocess.databases ### 数据业务处理包 该包是专门为使用者提供的### 该包下的第一个*包是数据库名称 第二个*包是数据表名称,使用者应 按照规范### 在当前表名包下创建过滤器类 实现CoreTemplate约束 进行后续业务操作com.dataprocess.databases.*.* ###demo案例 godnan包是MySql中bpm库,merchant包是bpm库下的merchant表 com.dataprocess.databases.bpm.merchantcom.dataprocess.es.api ### es接口对外提供的查询, 附带复杂查询案例 com.dataprocess.es.dao ### es 到层面的操作com.dataprocess.es.entity ### es 涉及到实体 也叫文档com.dataprocess.es.index ### es 文档索引com.dataprocess.init ###初始化 es索引com.dataprocess.interceptor ###给使用者提供的拦截器包 com.dataprocess.mq ### 监听rocketmq推送的消息com.dataprocess.redis ###redis 配置相关信息 系统架构图1 系统架构图2 内部依赖图 系统安装依赖
使用说明说
贡献代码(欢迎您的加入) 如果你有兴趣参与项目开发,请联系我个人邮箱: [email protected] 编码不易 如果觉得对您有帮助请点一下Star同时 也接受您宝贵的建议 接受批评 谢谢! 交流社区群 ![]() |
请发表评论