您当前的位置:首页 > 电脑百科 > 数据库 > 百科

再聊聊分布式数据库,你知道了吗?

时间:2023-05-26 13:40:59  来源:微信公众号  作者:白鳝的洞穴


数据库选型是个很复杂的事情,不过做起来也可以变得很简单。就像我本文中介绍的一个客户,大量的中小型的系统可以直接根据自己的喜好和商务上的考虑,选择一款和Oracle兼容性较好的集中式数据库进行替代了。

昨天的文章发了以后有朋友就怀疑这文章是给集中式数据库厂商打call的,实际上我只是从一个相对客观的角度把我对分布式数据库的个人见解写出来了。同样对于这个话题,分布式数据库的拥趸也可以写出一篇比较客观的文章,观点看上去完全不同。是不是很奇妙,怎么会存在两种截然不同的事实呢?如果你了解过阳明心学,从表象和物本质的理论来看这件事,就能理解了。实际上我们讲述的都不是事实,不是物本质。事实只有一个,我们所看到的只是表象,描述的只是观点,而不是事实本身。我们的描述可以十分接近事实,但永远也无法变成事实。基于此,一些看似矛盾的“较为正确的观点”就会存在了。实际上我们都是在盲人摸象,为分布式数据库打CALL的朋友可能摸到的是大象的耳朵,而我摸到的是大象的尾巴。

昨天文章的最后我说了,企业选择什么样的数据库取决于其应用场景,需求等,不过可能起决定作用的因素是领导的喜好。我写昨天这篇文章的目的是让大家不要盲目的去追星分布式数据库,对于企业IT来说,其实是要考虑整体成本的,从建设到使用,从建设到扩容升级,从研发到运维,如果从整体上考虑,盲目的选择相对复杂的分布式数据库,是后患无穷的。

不过确实也有一些场景,集中式数据库的能力不足,可能只能借助分布式数据库了。最近我们在帮客户做一个技术验证测试,为他们的最大的一套交易型数据库系统选择合适的替代品。这套OLTP加批处理特征的系统的数据库接近70TB,更大量的明细的时序特征的数据已经剥离到HBASE了。选择候选数据库的时候我们选择了两款分布式数据库和一款集中式数据库。在测试前的沟通中,集中式数据库厂商主动放弃了,他们觉得这个场景是他们的弱项。

所以我要表达的观点并不是一味的否定分布式数据库,而是提醒企业,企业数据库选型时保留一定的多样性,可能对今后企业的IT系统发展更有利。去年和一个客户交流的时候,他们的数据库替代方案是大量的中小型系统替代选择一款Oracle数据库兼容性较好的集中式数据库进行一对一迁移,较为重要的系统采用数据复制HA高可用架构,一般的系统仅仅通过备份保证数据级安全性。企业中的几个大型的核心系统具有较好的分区特性,因此都采用了分布式数据库进行替代。他们采用这种方式后,集中式数据库的运维主要采取自主运维的模式,而分布式数据库采用了相对成本较高的数据库原厂驻场服务的模式。通过这种二元制的模式,有效的控制了今后运维的成本。

谈到分布式数据库,还是免不了要谈谈分布式数据库的选型问题,分布式数据库的市场也很乱,特别是在我国,连分布式数据库的定义都十分模糊。按照信通院相关白皮书的定义,分布式数据库分为三大类。

图片

分布式中间件、原生分布式、共享存储读写分离都可以算分布式数据库。我习惯上还是把读写分离共享存储的模式看成是集中式数据库。剩下的两类分布式数据库的数量也是很庞大的。从墨天轮国产数据库热度排行榜往下数就有OceanBase、TiDB、GaussDB、TDSQL、GBase 8A、AnalyticDB、GoldenDB、AntDB等一大堆分布式关系型数据库了。

如果说集中式数据库天生就在扩展能力上有天花板,那么打破了这个天花板的分布式数据库其实也是有缺陷的。昨天这方面我已经谈了不少,今天就不再重复了。今天要谈的是这么多分布式数据库,到底我们该如何去选择呢?实际上数据库选型真的很难十分科学,一种比较科学的方法是为你的应用去选择数据库而不是为你的喜好去选择数据库。根据你的业务场景的特点去对这些数据库打分,最后选出能够满足你的业务系统中的一些比较有挑战性的场景的几个候选数据库,再根据你喜好去选择其中之一,相对会科学一些。

如果是要处理简单的物联网应用,那么大多数分布数据库都是能够胜任的,大并发写入,简单的查询是分布式数据库最擅长的场景。如果你的业务逻辑十分复杂,有很多比较复杂的查询,甚至还有一些较为复杂的大型批处理场景,那么数据库的SQL引擎的能力就十分重要了。分布式数据库是通过分布式执行的能力来弥补分布式在保证事务一致性上和分布式执行在网络延时上的开销的。如果算子不能有效的分解与下推,那么就像打群架一样,一堆流氓哪怕是群殴,战斗力也不强的。因此在做选择的时候,要十分注重SQL引擎的能力。最简单的方法是把各种以前在Oracle上也比较吃力的SQL拿出来,在这些数据库上跑一跑,看看效果如何。

对于研发能力很差,大量的SQL都是从老一辈程序员的代码里抠出来,自己也看不太懂,只能通过层层嵌套往上加业务的研发队伍开发的应用,那么就需要选择CBO优化器水平较高的数据库产品了。这种情况下,大部分SQL代理模式的分布式数据库产品就基本上不用考虑了。

数据库选型是个很复杂的事情,不过做起来也可以变得很简单。就像我本文中介绍的一个客户,大量的中小型的系统可以直接根据自己的喜好和商务上的考虑,选择一款和Oracle兼容性较好的集中式数据库进行替代了。如果应用能做一定的改造,直接上开源的集中式数据库就可以了。对于一些大型的核心系统,可以采用选型的方式,根据业务特点选择几个产品,使用自己的应用场景编制测试用例,做个及格测试。对于考核合格的产品,领导拍板就行了。



Tags:数据库   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除。
▌相关推荐
数据库选型是个很复杂的事情,不过做起来也可以变得很简单。就像我本文中介绍的一个客户,大量的中小型的系统可以直接根据自己的喜好和商务上的考虑,选择一款和Oracle兼容性较...【详细内容】
2023-05-26  Tags: 数据库  点击:(0)  评论:(0)  加入收藏
分布式数据库一定能提高交易性能吗?我们先来看看RAC,两个节点的环境,大体上会对交易量提升有帮助,而对于交易延时的提升就不一定了,在少数情况下,如果原有系统存在较为严重的资源...【详细内容】
2023-05-26  Tags: 数据库  点击:(0)  评论:(0)  加入收藏
实验背景近一年来发生几起的数据库连接被打满的情况,初步分析是应用使用连接数量“超过了”连接池(DBCP1.4)的上限,导致数据库连接被打满,其中一个结论是连接池的bug导致问题分析...【详细内容】
2023-05-15  Tags: 数据库  点击:(13)  评论:(0)  加入收藏
PostgreSql数据库,也是当下非常流行一款开源的关系型数据库,其性能和稳定性都非常不错,所以,在国内也是有比较多的企业在使用的。当前,官方发布的最新版是15。今天,就给大家讲讲如...【详细内容】
2023-05-14  Tags: 数据库  点击:(16)  评论:(0)  加入收藏
数据库巡检是一项非常重要的任务,它有以下几个方面的重要性: 保证数据库的稳定性和可靠性:巡检可以帮助管理员及时发现数据库中存在的问题,如性能瓶颈、资源竞争、死锁、数据丢...【详细内容】
2023-05-07  Tags: 数据库  点击:(17)  评论:(0)  加入收藏
数据库是任何组织技术生态系统的核心。云技术的出现,使得数据库具备了高性价比的数据存储、可伸缩计算、以利用率为基础的定价和完全管理的服务交付等功能。随着远程办公模式...【详细内容】
2023-05-04  Tags: 数据库  点击:(17)  评论:(0)  加入收藏
一、概述在日常数据库维护过程,mysql数据库的巡检是一项重要内容,它是提前发现和解决问题的前提条件。对于保障数据库运行的稳定性至关重要。那如何快速的对mysql数据库进行巡...【详细内容】
2023-05-03  Tags: 数据库  点击:(16)  评论:(0)  加入收藏
概述数据库巡检是对数据库系统进行定期检查,以确保数据库系统的健康和稳定运行。以下是MySQL数据库巡检手册的概要,提供一些关键指标和建议的检查步骤。 1. 基本信息检查1.1...【详细内容】
2023-05-03  Tags: 数据库  点击:(20)  评论:(0)  加入收藏
在日常数据存储和查询时,很多小伙伴都喜欢用ES做索引,很多还把ES当成数据库来用。诚然ES的读写性能非常优秀,但是大家有没有遇到过ES丢数据的问题?也就是说数据库和ES的数据不一...【详细内容】
2023-04-18  Tags: 数据库  点击:(7)  评论:(0)  加入收藏
Part 01 什么是图形数据库 ​图形数据库是NoSQL数据库的一种类型,起源于欧拉理论和图理论,对应英文名是Graph Database。一种专用于创建和处理图形的专业化单一用途平台,图形...【详细内容】
2023-04-17  Tags: 数据库  点击:(28)  评论:(0)  加入收藏
▌简易百科推荐
数据库选型是个很复杂的事情,不过做起来也可以变得很简单。就像我本文中介绍的一个客户,大量的中小型的系统可以直接根据自己的喜好和商务上的考虑,选择一款和Oracle兼容性较...【详细内容】
2023-05-26  白鳝的洞穴  微信公众号  Tags:数据库   点击:(0)  评论:(0)  加入收藏
分布式数据库一定能提高交易性能吗?我们先来看看RAC,两个节点的环境,大体上会对交易量提升有帮助,而对于交易延时的提升就不一定了,在少数情况下,如果原有系统存在较为严重的资源...【详细内容】
2023-05-26  白鳝的洞穴  微信公众号  Tags:数据库   点击:(0)  评论:(0)  加入收藏
1背景2020年以来内容标注结果搜索就是社区中后台业务的核心高频使用场景之一,为了支撑复杂的后台搜索,我们将社区内容的关键信息额外存了一份到Elasticsearch中作为二级索引使...【详细内容】
2023-05-25  OSC开源社区    Tags:数据   点击:(0)  评论:(0)  加入收藏
ByConity 基于 ClickHouse 内核开发,采用计算存储分离的架构、主流的 OLAP 引擎和自研的表引擎,提供便捷的弹性扩缩容和极速的分析性能,覆盖实时分析和海量数据的离线分析,帮助...【详细内容】
2023-05-22    CSDN  Tags:ByConity   点击:(6)  评论:(0)  加入收藏
这篇文章中,将会展示Oracle JDK和Open JDK的区别,首先会各自介绍下它们,然后再对比一下它们的区别,最后给大家列举一下其它实现JDK的开源组织或公司。Oracle JDK和Java SE的历史...【详细内容】
2023-05-16  码世界  今日头条  Tags:Oralce   点击:(13)  评论:(0)  加入收藏
大家好,我是小富~(一)好好的系统,为什么要分库分表?本文是《分库分表ShardingSphere5.x原理与实战》系列的第二篇文章,距离上一篇文章已经过去好久了,惭愧惭愧~还是不着急实战,咱们先...【详细内容】
2023-05-15  程序员小富  微信公众号  Tags:分库分表   点击:(16)  评论:(0)  加入收藏
实验背景近一年来发生几起的数据库连接被打满的情况,初步分析是应用使用连接数量“超过了”连接池(DBCP1.4)的上限,导致数据库连接被打满,其中一个结论是连接池的bug导致问题分析...【详细内容】
2023-05-15  东东程序猿  今日头条  Tags:数据库   点击:(13)  评论:(0)  加入收藏
PostgreSql数据库,也是当下非常流行一款开源的关系型数据库,其性能和稳定性都非常不错,所以,在国内也是有比较多的企业在使用的。当前,官方发布的最新版是15。今天,就给大家讲讲如...【详细内容】
2023-05-14  阿辉聊性能测试  今日头条  Tags:PostgreSql   点击:(16)  评论:(0)  加入收藏
很多同学总觉数据分析做得不深入,到底该怎么做?今天结合一个具体的例子,分享下如何做一个深入的数据分析项目。 深入级别:0级 某天,你收到一个需求:“看下我司APP新增的A功能,过去5...【详细内容】
2023-05-12  接地气的陈老师    Tags:数据分析   点击:(22)  评论:(0)  加入收藏
背景:binlog2sql是一个闪回工具,所谓闪回就是在误操作之后的挽回措施,比如误执行了一个delete语句,那么binlog2sql可以将这个delete语句变为insert语句,你重新执行下这个insert语...【详细内容】
2023-05-11  玩转Linux与MySQL    Tags:binlog2sql   点击:(6)  评论:(0)  加入收藏
站内最新
站内热门
站内头条