从发现Tungsten Replicator到线上部署,历时4个月。中间也遇到了很多困难,不过在同事的大力配合下,CDC项目(内部名称)已经替代老的事件通知系统,成为网站内部数据更新的重要组成部分。每天处理的数据更新条目数超过200W。
传统的使用Tungsten,是把它作为DB Replication的一部分。但是在互联网架构中,异构数据系统之间如何保持数据的一致性,是架构师面临的普遍挑战。这样的系统在网站里面很多,像检索系统,缓存系统等等。
据说一些网站也在开发类似的技术。因为,以DB为中心的设计思路,决定了业务逻辑严格执行数据“入库为安”的思路。能够写入DB就是成功,写不进去就是失败。这样的策略,以及系统运行的不可靠,决定了在页面逻辑中实现数据的一致性的做法,本身就带有太多的不稳定因素:毕竟,你一般不会把写DB和清Cache捆绑成一个事务吧?
我们被类似的问题困扰了很久,尤其是涉及到一些商业的需求,数据的一致性非常重要。因此,我们基于Tungsten Replicator,开发了一个插件,能够将MySQL的数据更新,同步到队列中,由后端的逻辑实现进一步的数据同步操作。
队列,依然采用kestrel。它的高效,支持可靠获取以及子队列,非常适合这种需求。
附上系统架构图吧。。。
- 大小: 32.5 KB
分享到:
相关推荐
tungsten replicator数据库复制/同步工具,介绍了tungsten的基本作用及部分mysql之间的数据同步拓扑方式,mysql到oracle数据复制/同步方法
Tungsten Replicator帮助专注于技术的用户解决许多问题,并提供超越大多数其他开源复制器的功能。 在复制期间,钨丝复制允许在不同数据库和数据库版本之间交换数据,可以过滤和修改信息,并且可以在本地数据库或...
tungsten-replicator-5.0.1-138.tar.gz 。
mysql数据库同步技术工具书,网上这方面的资料比较少,大家多多交流
钨复制品Tungsten Replicator 是一个开源复制引擎,支持各种不同的提取器和应用器模块。 可以从MySQL、Oracle和Amazon RDS中提取数据,并应用于事务性存储,包括MySQL、Oracle和Amazon RDS; NoSQL 存储(如 MongoDB...
Tungsten Replicator帮助专注于技术的用户解决许多问题,并提供超越大多数其他开源复制器的功能。 在复制期间,钨丝复制允许在不同数据库和数据库版本之间交换数据,可以过滤和修改信息,并且可以在本地数据库或...
Tungsten Replicator是一个开源复制引擎,支持各种不同的提取器和应用程序模块。 可以从MySQL,Oracle和Amazon RDS中提取数据,并将其应用于事务存储,包括MySQL,Oracle和Amazon RDS。 NoSQL存储(例如MongoDB)和...
NULL 博文链接:https://fs20041242.iteye.com/blog/1166403
Tungsten是用于数据库集群和复制的一系列开源技术。 Tungsten包含复制,管理,SQL路由和代理,可提高数据库可用性,保护数据并提高应用程序吞吐量。
钨-3.0.0 从分叉。
continuent-replicator-5.0.pdf,tungsten 5.0
tungsten, 在C 11中,高性能的基于物理的渲染器 渲染器Tungsten是一个基于物理的渲染器,最初为ETH年的年度渲染竞赛编写。 它通过对渲染方程的无偏积分来模拟通过任意几何的全光传输。 为这里,钨支持各种光传输算法...
机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识...
热退火对溅射沉积钨氧化物薄膜的影响,秦玉香,沈万江,利用反应磁控溅射法在氧化铝基底上沉积氧化钨薄膜并分别与200、300、400和600oC空气气氛退火4h。研究了热退火对氧化钨薄膜微结构和气��
《Spark2.0技术预览:更容易、更快速、更智能》文中简单地介绍了Spark2.0相关技术,本文将深入介绍新的Tungsten执行引擎。ApacheSpark已经非常快了,但是我们能不能让它再快10倍?这个问题使得我们从根本上重新思考...
单晶钨在循环载荷作用下裂纹扩展的原子模拟,舒信通,胡望宇,本文采用分子动力学方法模拟了单晶钨在循环载荷作用下温度和取向对预制中心裂纹扩展的影响。结果表明不同取向裂纹模型,其裂纹尖
ALD Tungsten, W and TiN for Advanced Contact Application