Debezium系列之：基于Debezium实现高可靠性高实时性秒级别的数据响应系统
迪丽瓦拉
2025-05-31 20:27:30
0次
Debezium系列之：基于Debezium实现高可靠性高实时性秒级别的数据响应系统
- 一、高可靠性高实时性系统的需求背景
- 二、具体实现的技术方案
- 三、具体实现技术步骤
- 四、实时同步数据到下游
- 五、技术方案总结
一、高可靠性高实时性系统的需求背景
- 用户在APP更新数据后，数据插入mysql数据库后，debezium采集数据到Kafka，下游flink消费kafka topic中的数据后，插入到ElasticSearch数据库或Starrocks数据库后，业务能够在系统界面立即查询到用户的更新数据，整个过程要能够实现秒级别的响应。
- 对系统的要求是24小时高可靠性高实时性实现数据处理的秒级别响应。
二、具体实现的技术方案
-
Debezium基于Kafka Connect集群实现的数据采集会受到多种因素影响，例如kafka connect重平衡等，因此存在无法保证系统24小时实现数据处理的秒级别响应。
-
因此，需要考虑新的技术方案，这里有两种技术方案可以考虑：
- 基于Debezium引擎技术
相关内容
热门资讯
linux入门---制作进度条
了解缓冲区 我们首先来看看下面的操作： 我们首先创建了一个文件并在这个文件里面添加了...
C++ 机房预约系统（六）：学...
8、 学生模块 8.1 学生子菜单、登录和注销 实现步骤： 在Student.cpp的...
A.机器学习入门算法（三）：基...
机器学习算法（三）：K近邻(k-nearest neigh...
数字温湿度传感器DHT11模块...
模块实例https://blog.csdn.net/qq_38393591/article/deta...
有限元三角形单元的等效节点力
文章目录前言一、重新复习一下有限元三角形单元的理论1、三角形单元的形函数（Nÿ...
Redis 所有支持的数据结构...
Redis 是一种开源的基于键值对存储的 NoSQL 数据库，支持多种数据结构。以下是...
win下pytorch安装—c...
安装目录一、cuda安装1.1、cuda版本选择1.2、下载安装二、cudnn安装三、pytorch...
MySQL基础-多表查询
文章目录MySQL基础-多表查询一、案例及引入1、基础概念2、笛卡尔积的理解二、多表查询的分类1、等...
keil调试专题篇
调试的前提是需要连接调试器比如STLINK。 然后点击菜单或者快捷图标均可进入调试模式。 如果前面...
MATLAB | 全网最详细网...
一篇超超超长，超超超全面网络图绘制教程，本篇基本能讲清楚所有绘制要点&#...