您当前的位置:首页 > 互联网百科 > 大数据

数据仓库的架构是什么样的,大家可以通过这篇文章了解一下

时间:2020-11-13 10:02:24  来源:  作者:

今天这篇文章,给大家讲述一下数据仓库的架构模式,作为我们一起探讨的内容。希望大家留言、评论,我们一起学习。

一 说到数据仓库,那么我们先来了解一下数据仓库的基本概念

数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。通俗一点说就是,数据仓库就是集合了各源系统的数据,同时对数据进行ETL,并最终作为数据服务方,对外提供数据服务。

 我们了解了数据仓库的基本概念,也清楚了数据仓库的作用,那么我们在实际工作中,数据仓库究竟是什么样的呢?以我的工作为例,我是从事在银行业,经历过各种不同类型的银行,但是数据仓库的模式大体相同。那让我们来看下数据仓库都是包含哪些东西吧。

首先,我们来看下数据仓库整体架构。

数据仓库的架构是什么样的,大家可以通过这篇文章了解一下

通过这张图,我们可以清楚地看到,数据仓库从横向上可以分为几个模块:

源数据层----数据交换层----数据集成层-----数据服务层-----数据交换层-----数据应用层----用户

下面我们逐个简单说下每一层的概念。

1 源数据层:源数据层就是指源系统的数据,数据类型包括结构化数据(按照方式存储的数据),半结构化和非结构化数据(一般是互联网行为数据、语音、影像等数据)。

2数据交换层:主要是指通过数据交换平台,将源系统的数据(源系统的数据一般是以文件的形式传输到数据仓库)抽取转换,由原来的数据文件,通过数据库解析,并最终进入到数据仓库ODS层。

3 数据集成层:数据集成层包括了ODS,DWD,DWS,BDM,ADM

ODS:数据仓库中最底层数据,基本上都是在源系统的数据基础上,增加一个数据日期字段,先存储到贴源层对对应的数据表中,然后通过数据仓库拉链技术,进行数据拉链式存储。

关于拉链技术,请参考上篇文章进行了解。

https://m.toutiao.com/is/JH2YRUX/

DWD:明细数据层,是业务层与数据仓库的隔离层,这一层主要是用来解决数据质量的问题,比如有的数据有空格,回车,或者数据不完整等。

DWS:数据汇总层,该层主要是按照不同的主题纬度,进行数据汇总冗余。主题纬度一般分为:产品纬度,账户纬度,渠道纬度,协议纬度等,数据表一般是宽表的形式,即将各纬度的数据尽可能多的存储到一张表里,这样在查询的时候就不用关联其他表了。

BDM:应用层,这一层主要是用来为下游应用产生个性化,定制化数据。一般也是按照各主题域进行划分,如客户主题、风险主题、交易主题、资产主题等,这一层也会有一些模型工厂,即通过模型工具定期执行产生的模型预测类数据。

注:应用层在一些银行的数据仓库里是没有的。直接从DWS到ADM 层了。

ADM:集市层,也可以理解为一个小型数据仓库,比数据仓库数据粒度更细化,更加面向应用需求。现在我接触的数据集市主要有个人集市、对公集市、风险集市、营销集市。现在有些数据集市是作为一个单独模块拿出来独立运营,有些数据集市还是会放到数据仓库或者大数据平台中。但是集市层的数据源都是数据仓库或者直接是源系统。

数据集市可以和数据仓库并行,数据集市的数据源来自数据仓库和源系统。也可以和数据仓库串行,数据源来自于数据仓库。看每个行的具体情况而定。下面我会写一篇文章来简单聊一下个人客户集市的建设。

4 数据服务层:通过对数据集市数据进行二次加工分析,形成对外服务输出数据,直接通过数据交换平台,输出到各应用系统。

5 数据应用层:主要是通过解析数据服务层数据,并写入到应用系统数据库,供业务人员使用。

 总结一下

数据仓库就是将源系统的数据进行抽取,转换,加工,按照不同纬度、主题形成面向业务的数据,然后通过一定的数据接口提供给各业务系统。

数据仓库主要包括。ODS,DWD,DWS,ADM。

ODS:贴源层

DWD:明细层

DWS:汇总层

ADM:集市层

好了,这篇文章就给大家写到这里了,希望大家留言、评论。我们一起探讨,学习。大家喜欢的,可以点个关注 ,我会不定期更新文章,将自己的经验分享出来。



Tags:数据仓库   点击:()  评论:()
声明:本站部分内容来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除,谢谢。
▌相关评论
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表
▌相关推荐
今天这篇文章,给大家讲述一下数据仓库的架构模式,作为我们一起探讨的内容。希望大家留言、评论,我们一起学习。一 说到数据仓库,那么我们先来了解一下数据仓库的基本概念。数据...【详细内容】
2020-11-13   数据仓库  点击:(0)  评论:(0)  加入收藏
一、数据仓库体系架构公司借助的第三方数据平台,在此平台之上建设数据仓库。因为第三方平台集成了很多东西,所以省去了不少功夫。数据仓库的体系架构,无外乎就是数据源、数据采...【详细内容】
2020-10-04   数据仓库  点击:(3)  评论:(0)  加入收藏
关于数据仓库的概念、原理、建设方法论,网上已经有很多内容了,也有很多的经典书籍,本文更想聊聊企业数据仓库项目上的架构和组件工具问题。先来谈谈架构。企业数据仓库架构关于...【详细内容】
2020-09-30   数据仓库  点击:(5)  评论:(0)  加入收藏
自创立之日起,酷克数据一直致力于降低企业进行大数据分析的门槛,推动数据民主化。今天,我们朝这个目标迈出了第一步:酷克数据在青云QingCloud上推出基于PostgreSQL和Greenplum D...【详细内容】
2020-08-03   数据仓库  点击:(16)  评论:(0)  加入收藏
飞天大数据产品价值解读 — SaaS模式云数据仓库 MaxCompute摘要:企业在数字化转型过程中面临数据技术平台建设和运营的诸多挑战,随着现代化数据仓库向多功能、服务化方向...【详细内容】
2020-07-29   数据仓库  点击:(7)  评论:(0)  加入收藏
作者:蒋晓伟(量仔) 阿里云研究员金晓军(仙隐) 阿里云高级技术专家 摘要数据仓库,数据湖,包括Flink社区提的流批一体,它们到底能解决什么问题?今天将由阿里云研究员从解决业务问题出...【详细内容】
2020-06-23   数据仓库  点击:(11)  评论:(0)  加入收藏
人工智能层的:智慧地球、智慧城市、智慧社会企业层面的:数字互联网,数字经济、数字平台、数字城市、数字政府;平台层面的:物联网,云计算,大数据,5G,人工智能,机器智能,深度学习,知识图谱...【详细内容】
2020-06-22   数据仓库  点击:(3)  评论:(0)  加入收藏
00 概述数据分层是数据仓库设计中十分重要的一个环节,优秀的分层设计能够让整个数据体系更易理解和使用。而目前网络中大部分可以被检索到相关文章只是简单地提及数据分层的...【详细内容】
2020-06-07   数据仓库  点击:(4)  评论:(0)  加入收藏
文|傅一平2004年笔者进入公司后就从事数据仓库的工作,伴随着中国移动经营分析系统的发展而成长,主导过多次数据仓库的重构建设,见证了数据仓库从ORACLE到DB2、从DB2到ASTER、从...【详细内容】
2020-06-05   数据仓库  点击:(6)  评论:(0)  加入收藏
1. 数据库和数据仓库有什么区别?2. 某大公司Hadoop Hive里的关系表不完全满足完整/参照性约束,也不完全满足范式要求,甚至第一范式都不满足,这种情况正常吗?3.Oracle会在三年之内...【详细内容】
2020-04-27   数据仓库  点击:(8)  评论:(0)  加入收藏
作者介绍水大人,数据开发小哥,爱折腾、爱记笔记,热衷方法论提炼和效率提升。虽然半路出家,但致力于全栈远景。《七天数据埋点之旅》系列作者。一、前言数仓规划是数仓建设的蓝图...【详细内容】
2020-04-03   数据仓库  点击:(18)  评论:(0)  加入收藏
今天跟着我来学学数据仓库的基础知识,希望你结合案例可以把它吃透。一、数据仓库建模的意义如果把数据看作图书馆里的书,我们希望看到它们在书架上分门别类地放置;如果把数据...【详细内容】
2020-03-30   数据仓库  点击:(18)  评论:(0)  加入收藏
Hive简介1.什么是HiveHive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。其本质是将SQL转换为MapReduce的任务进行运算,底...【详细内容】
2019-12-06   数据仓库  点击:(52)  评论:(0)  加入收藏
如果把数据看作图书馆里的书,我们希望看到它们在书架上分门别类地放置;如果把数据看作城市的建筑,我们希望城市规划布局合理;如果把数据看作电脑文件和文件夹,我们希望按照自己的习惯有很好的文件夹组织方式,而不是糟糕混乱...【详细内容】
2019-11-05   数据仓库  点击:(27)  评论:(0)  加入收藏
(马蜂窝技术原创内容,公众号ID:mfwtech)一、马蜂窝数据仓库与数据中台最近几年,数据中台概念的热度一直不减。2018 年起,马蜂窝也开始了自己的数据中台探索之路。数据中台到底是什...【详细内容】
2019-10-15   数据仓库  点击:(23)  评论:(0)  加入收藏
高级云计算数据仓库展示了近年来云计算数据仓库市场发展的特性,因为很多企业更多地采用云计算,并减少了自己的物理数据中心足迹。云计算数据仓库是一项收集、组织和经常存储供...【详细内容】
2019-09-26   数据仓库  点击:(48)  评论:(0)  加入收藏
在这篇文章中,一位大数据专家讨论了使用ETL工具来帮助数据团队更好地使用和管理他们的数据仓库。管理数据仓库不仅仅是管理数据仓库,如果我们听起来如此陈腐。实际上还有很多...【详细内容】
2019-08-06   数据仓库  点击:(4)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条