搭建本地网站做色流,网站建设 好公司,建站公司网站模板,住房城乡建设部办公厅网站流式处理引擎#xff0c;颠覆50年未变的数据库内核 流式处理的概念
2001年9月11日#xff0c;美国世贸大楼被袭击#xff0c;美国国防部第一次将“主动预警”纳入国防的宏观战略规划。而IBM作为当时全球最大的IT公司#xff0c;承担了大量基础支撑软件研发的任务。其中200…流式处理引擎颠覆50年未变的数据库内核 流式处理的概念
2001年9月11日美国世贸大楼被袭击美国国防部第一次将“主动预警”纳入国防的宏观战略规划。而IBM作为当时全球最大的IT公司承担了大量基础支撑软件研发的任务。其中2009年正式发布的IBM InfoSphere Streams就是全球最早真正意义上的商业化流数据处理引擎之一。
典型的流处理框架如Apache Storm、Spark Streaming、Flink等也都是基于IBM的设计理念采用“请求发送结果返回”的模式进行了研发并大量应用于实时互联网类型的业务中对前方产生的海量事件进行实时预处理。
Gartner在《2022中国数据库管理系统市场指南》中将流处理定义为涉及对“事件”event的观察和触发通常在“边缘”采集包括将处理结果传输至其他业务阶段。并将在未来五年中获得更多关注。 图Gartner对于流/事件处理的定义 传统部署架构的痛点
但是不论Apache Storm、Spark Streaming、还是Flink等流处理框架的设计都是将目光集中在“处理”本身。由于其自身不具备数据库的能力当需要与其他数据进行关联、临时存储等互动时则需要进行复杂的数据抽取。这使得大量的开发人员还需要编写复杂的Java/C/Scala代码用最传统的方式对记录进行一条条预处理并且还需要经常从其他外部的缓存/数据库中实时调取额外数据进行手工关联开发和运维的负担极大。
在亚信科技AntDB数据库发展的十几年中我们看到大量运营商对核心数据处理加工的业务场景。这些需求中有些能够很容易地使用传统技术满足但还有一些一定需要采用流式计算等实时处理能力才能支持。 数据库与流式处理的有机融合 流数据处理模式与传统数据库的内核设计有着极大的区别。其核心本质在于传统数据库架构设计中应用与数据库之间是“请求-响应“的关系即业务发起SQL请求数据库随即执行请求并返回结果。
而流处理内核则是“订阅-推送“的模式。通过预先定义好的数据处理模型对数据承载的业务“事件”进行处理之后将处理后的结果推送给下游应用进行展现或入库。 图AntDB数据库流式处理引擎的基础架构 因此在流式数据实时处理领域亚信科技AntDB数据库做了大量从零开始的创新性探索与研究于2022年底推出AntDB-S流处理数据库引擎彻底将流式计算与传统交易、分析型数据存储进行了融合让用户可以在数据库引擎内通过标准SQL自由定义数据的结构以及实时处理逻辑。 同时数据在数据库内部的流对象、表对象之间自由流转的过程中用户可以随时通过建立索引、流表关联、触发器、物化视图等方式对数据进行性能优化、数据加工、集群监控、以及业务逻辑定制。 功能优势 技术堆栈简化在实时流事件的处理上AntDB数据库流式处理一体引擎将大量的实时数据处理做到数仓内部更进一步向通用事务靠拢。 标准SQL定义传统流处理方式对于SQL的处理很弱还要写大量业务代码而AntDB-S可以通过统一SQL语句进行处理在流的使用上更便捷。 统一数据接口支持流批模式的转换AntDB数据库统一超融架构实现了对外的接口统一数据的采集与处理无需分开流批都用SQL即可全部搞定。 支持完整事务处理传统流处理过程中不支持数据的修改AntDB-S支持流处理中对数据的修改和事务操作。 实时结果更准确通过分布式事务的ACID特性解决实时流数据处理中数据容灾和一致性的问题可以精确判断数据故障点完成流事件的矫正计算和重统计。
关于AntDB数据库
AntDB数据库始于2008年在运营商的核心系统上为全国24个省份的10亿多用户提供在线服务具备高性能、弹性扩展、高可靠等产品特性峰值每秒可处理百万笔通信核心交易保障系统持续稳定运行近十年并在通信、金融、交通、能源、物联网等行业成功商用落地。
