您当前的位置:首页 > 电脑百科 > 数据库 > 百科

为什么改变人们对数据库技术的误解很重要?

时间:2023-05-04 12:13:23  来源:  作者:John Thangaraj
数据库是任何组织技术生态系统的核心。云技术的出现,使得数据库具备了高性价比的数据存储、可伸缩计算、以利用率为基础的定价和完全管理的服务交付等功能。随着远程办公模式的增加,许多企业开始采用现代数据库技术来处理海量数据。这样一来,IT研发持续转向云计算,加速了企业创数字化转型的进程。
虽然在向云的过度中伴随着许多挑战,但是对于那些寻求尖端数据库技术的企业来说,终归是利大于弊。对于数据领导者来说,增强他们对共同障碍、创造数据库策略及上云的了解至关重要。如果数据库的领导者误解了数据库的成本、迁移的复杂性、数据安全性和灵活性,他们就不愿意采用现代化的解决方案。因此,更好地了解这些误区,对于企业的成功至关重要。

一、混合云系统增强数据库的仓储能力

混合云连接了私有数据中心和公有云,使数据和应用可以共享来自内部部署系统和云计算系统的信息。混合云计划能帮助企业利用多云和本地数据中心,具备更加灵活的优势。。公有云、私有云和本地数据资源结合,并通过人工智能和机器学习来支持敏捷性并改进报告。

二、了解常见的数据库误解

对云数据库的误解可能会导致IT专业人员对是否采用新的数据库系统和是否上云产生疑惑。
以下是关于这些误解的真相。
1、数据库只适用于对过去的数据进行业务分析。其实,使用现代化工具,数据库就可以进行实时数据分析。当考虑到企业数据库实时报告和分析的传统设计时,使用像Oracle Goldengate和Shareplex这样的数据复制技术是一个明智的选择。这些集成数据存储工具的数据库,能够将在线交易处理的数据复制到数据库,同时帮助提取、转换、加载,以及在线提取、加载和逻辑转换数据。
在现代数据库中,Kafka Spark streaming将在数据库环境下完成实时数据分析。因为实时定义的延迟性会根据企业实时定义方案的不同而有所不同,所以计划和管理实时定义的延迟性就显得非常重要。而企业的责任就是决定和定义实时数据复制的延迟性,并在确定的时间内配置实时数据。如果企业决定定义实时数据的延迟时间是几小时,那么实时数据处理可以通过传统的批量处理来实现。
2、传统数据库没有通用的结构化查询语言(下文称SQL)引擎去处理数据库中所有类型的数据,而在现代化数据库环境下就能建立一个通用的SQL引擎。如果企业要处理结构化的数据,或者使用一个数据湖选项去自定义和处理结构化或非结构化的数据,他们就会依赖企业自己的数据库解决方案。
一些企业用单一的SQL引擎,像Snowflake 或者Databricks ,作为统一的数据库引擎来使用数据库系统。然而,这些解决方案需要探索成本、性能和数据处理的属性。比如, Spark引擎最适合批量处理,但不适合低吞吐量的单一SQL。更好的数据库结构会基于数据模式来分析商业要求,然后建立一个合理的SQL引擎。例如,一个单一数据库方案用presto 引擎去处理低吞吐量的简单SQL,并且用Spark引擎来处理批量数据。
3、现代化数据库只能通过云端供应商来实现。现代化数据库需要基于企业数据及数据优先级来建立。比如,如果该数据很敏感,那么就需要部署在企业自己的数据中心。与此同时,对于非敏感的数据库来说,企业也可以从云供应商那里获取。在这些情况下,混合数据库方案就是不错的选择。Cloud Pak 等技术就可以同时在本地数据中心和云数据中心实时处理数据。Cloud Pak 的数据是高度可扩展的,并且可以为数据库提供更好的性能和混合云的解决方案。
4、管理数据库的数据治理有一定难度。如今,许多企业很难管理他们的数据衍生。这个问题就可以通过设计一个数据中心方案来解决,比如Cloud Pak 或者Apache Kyligence Semantic Layer。再比如,Watson Knowledge Catalog就具有创造多数据源和多个不同数据源的虚拟化表的能力。
当用户执行SQL时,这些方案也提供通用引擎。它在内部转换SQL并将数据传输到合适的数据源。这些方案和其他的引擎技术可以帮助企业更好地管理和治理数据衍生。
5、数据仓库使用了更多存储空间,并且成本也很高。企业使用成百上千个不同类型地数据库去管理和满足他们的商务需求,这样他们需要能整合所有数据源的数据以满足数据报告或者AI、ML需求。通常情况下,数据库领导者会选择价格低一些的解决方案,比如对象存储或者建立企业自己的SQL引擎来处理海量数据。
除此之外,管理传统块存储中的数据成本很高。在这些情况下,数据体系结构是下一代数据库解决方案的更好的选择。理想的数据体系结构提供一个通用的SQL引擎,用来处理来自关系数据库管理系统的结构化、半结构化或者非结构化的数据。Cloud Pak for Data和Watson Query是数据体系解决方案的两个例子。因为数据体系结构化可以直接处理在线交易或商务数据库的数据,它降低了成本,也不需要使用单独的数据库解决方案。 

未来计划

采用数据库解决方案需要做一些前期工作,包括数据管理和治理、平台自动化、数据移动和复制、数据模型化和准备以及基础设施监控。如果执行得好,这些策略可以使企业记录他们的当前环境,规划现代化平台,迁移遗留的数据结构,并管理自动化新平台。通过解决对云数据库的误解,了解数据库模型的挑战、益处和总成本所有权,企业可以做出更明智的云数据库战略决定,并释放数据真正的价值。


原文标题:Why It’s Important to Change Misconceptions About Data Warehouse Technology
原文作者:John Thangaraj
 


Tags:数据库   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
向量数据库落地实践
本文基于京东内部向量数据库vearch进行实践。Vearch 是对大规模深度学习向量进行高性能相似搜索的弹性分布式系统。详见: https://github.com/vearch/zh_docs/blob/v3.3.X/do...【详细内容】
2024-04-03  Search: 数据库  点击:(5)  评论:(0)  加入收藏
如何正确选择NoSQL数据库
译者 | 陈峻审校 | 重楼Allied Market Research最近发布的一份报告指出,业界对于NoSQL数据库的需求正在持续上升。2022年,全球NoSQL市场的销售额已达73亿美元,预计到2032年将达...【详细内容】
2024-03-28  Search: 数据库  点击:(14)  评论:(0)  加入收藏
为什么数据库连接池不采用 IO 多路复用?
这是一个非常好的问题。IO多路复用被视为是非常好的性能助力器。但是一般我们在使用DB时,还是经常性采用c3p0,tomcat connection pool等技术来与DB连接,哪怕整个程序已经变成以...【详细内容】
2024-03-27  Search: 数据库  点击:(13)  评论:(0)  加入收藏
过去一年,我看到了数据库领域的十大发展趋势
作者 | 朱洁策划 | 李冬梅过去一年,行业信心跌至冰点2022 年中,红衫的一篇《适应与忍耐》的报告,对公司经营提出了预警,让各个公司保持现金流,重整团队,想办法增加盈利。这篇报告...【详细内容】
2024-03-12  Search: 数据库  点击:(27)  评论:(0)  加入收藏
让数据库和缓存数据保持一致的三种策略
如何保证缓存和数据库的一致性,这算得上是个老生常谈的话题啦,看到好多技术新人在写更新缓存数据代码,采用了非常复杂甚至“诡异”的方案,甚为不解。一、背景目前随着缓存架构方...【详细内容】
2024-02-20  Search: 数据库  点击:(37)  评论:(0)  加入收藏
MySQL数据库如何生成分组排序的序号
经常进行数据分析的小伙伴经常会需要生成序号或进行数据分组排序并生成序号。在MySQL8.0中可以使用窗口函数来实现,可以参考历史文章有了这些函数,统计分析事半功倍进行了解。...【详细内容】
2024-01-30  Search: 数据库  点击:(54)  评论:(0)  加入收藏
一篇文章,彻底理解数据库操作语言:DDL、DML、DCL、TCL
本篇文章以具体的SQL语句讲解了数据库SQL语言四大分类(数据定义语言DDL,数据操作语言DML,数据查询语言DQL,数据控制语言DCL),同时也介绍了事务控制语言TCL。最近与开发和运维讨论...【详细内容】
2024-01-30  Search: 数据库  点击:(43)  评论:(0)  加入收藏
一文读懂:什么是数据库,它到底有啥用?
提到数据库,可能很多人会很陌生。但据库其实已经渗入我们生活的方方面面,像网上购物、扫码点餐、抢红包等等应用背后都离不开数据库的支持。可以说数据库是支撑各类应用软件运...【详细内容】
2024-01-25  Search: 数据库  点击:(43)  评论:(0)  加入收藏
oracle数据库基础学习
在当今数字化时代,数据库已成为企业运营的关键要素。而Oracle数据库,作为全球领先的企业级数据库管理系统,更是备受推崇。本文将带您深入了解Oracle数据库的基础知识,帮助您从零...【详细内容】
2024-01-20  Search: 数据库  点击:(90)  评论:(0)  加入收藏
一个流行的支持超多数据库的ORM库
Sequelize 是一个流行的 Node.js ORM(对象关系映射)库,用于在 Node.js 中操作关系型数据库。它支持多种数据库系统,如 PostgreSQL、MySQL、SQLite 和 MSSQL,并提供了简单易用的 A...【详细内容】
2024-01-15  Search: 数据库  点击:(77)  评论:(0)  加入收藏
▌简易百科推荐
向量数据库落地实践
本文基于京东内部向量数据库vearch进行实践。Vearch 是对大规模深度学习向量进行高性能相似搜索的弹性分布式系统。详见: https://github.com/vearch/zh_docs/blob/v3.3.X/do...【详细内容】
2024-04-03  京东云开发者    Tags:向量数据库   点击:(5)  评论:(0)  加入收藏
原来 SQL 函数是可以内联的!
介绍在某些情况下,SQL 函数(即指定LANGUAGE SQL)会将其函数体内联到调用它的查询中,而不是直接调用。这可以带来显著的性能提升,因为函数体可以暴露给调用查询的规划器,从而规划器...【详细内容】
2024-04-03  红石PG  微信公众号  Tags:SQL 函数   点击:(4)  评论:(0)  加入收藏
如何正确选择NoSQL数据库
译者 | 陈峻审校 | 重楼Allied Market Research最近发布的一份报告指出,业界对于NoSQL数据库的需求正在持续上升。2022年,全球NoSQL市场的销售额已达73亿美元,预计到2032年将达...【详细内容】
2024-03-28    51CTO  Tags:NoSQL   点击:(14)  评论:(0)  加入收藏
为什么数据库连接池不采用 IO 多路复用?
这是一个非常好的问题。IO多路复用被视为是非常好的性能助力器。但是一般我们在使用DB时,还是经常性采用c3p0,tomcat connection pool等技术来与DB连接,哪怕整个程序已经变成以...【详细内容】
2024-03-27  dbaplus社群    Tags:数据库连接池   点击:(13)  评论:(0)  加入收藏
八个常见的数据可视化错误以及如何避免它们
在当今以数据驱动为主导的世界里,清晰且具有洞察力的数据可视化至关重要。然而,在创建数据可视化时很容易犯错误,这可能导致对数据的错误解读。本文将探讨一些常见的糟糕数据可...【详细内容】
2024-03-26  DeepHub IMBA  微信公众号  Tags:数据可视化   点击:(7)  评论:(0)  加入收藏
到底有没有必要分库分表,如何考量的
关于是否需要进行分库分表,可以根据以下考量因素来决定: 数据量和负载:如果数据量巨大且负载压力较大,单一库单一表可能无法满足性能需求,考虑分库分表。 数据增长:预估数据增长...【详细内容】
2024-03-20  码上遇见你  微信公众号  Tags:分库分表   点击:(15)  评论:(0)  加入收藏
在 SQL 中写了 in 和 not in,技术总监说要炒了我……
WHY?IN 和 NOT IN 是比较常用的关键字,为什么要尽量避免呢?1、效率低项目中遇到这么个情况:t1表 和 t2表 都是150w条数据,600M的样子,都不算大。但是这样一句查询 ↓select *...【详细内容】
2024-03-18  dbaplus社群    Tags:SQL   点击:(6)  评论:(0)  加入收藏
应对慢SQL的致胜法宝:7大实例剖析+优化原则
大促备战,最大的隐患项之一就是慢SQL,对于服务平稳运行带来的破坏性最大,也是日常工作中经常带来整个应用抖动的最大隐患,在日常开发中如何避免出现慢SQL,出现了慢SQL应该按照什...【详细内容】
2024-03-14  京东云开发者    Tags:慢SQL   点击:(5)  评论:(0)  加入收藏
过去一年,我看到了数据库领域的十大发展趋势
作者 | 朱洁策划 | 李冬梅过去一年,行业信心跌至冰点2022 年中,红衫的一篇《适应与忍耐》的报告,对公司经营提出了预警,让各个公司保持现金流,重整团队,想办法增加盈利。这篇报告...【详细内容】
2024-03-12    InfoQ  Tags:数据库   点击:(27)  评论:(0)  加入收藏
SQL优化的七个方法,你会哪个?
一、插入数据优化 普通插入:在平时我们执行insert语句的时候,可能都是一条一条数据插入进去的,就像下面这样。INSERT INTO `department` VALUES(1, '研发部(RD)', &#39...【详细内容】
2024-03-07  程序员恰恰  微信公众号  Tags:SQL优化   点击:(20)  评论:(0)  加入收藏
站内最新
站内热门
站内头条