数据仓基础与应用(你根本不懂数据仓库)

老规矩,先看是什么,再说怎么做。要看懂这篇文章,先要理解这几个概念:

BI又叫商业智能,简单点说就是从本质上改变企业做决策拍脑袋的情况。BI的定义分为广义和狭义两种。

可以通过丰富的场景看一下:

广义上的BI可以定义为一个系统方案,包含了从数据仓库,到ETL(数据清洗),OLAP分析,以及深度的数据挖掘,前端报表展现。

在具体企业数据分析项目中,会将它们中的若干个结合起来,实现一个完整的企业数据分析技术方案,整体架构如下图:

数据仓基础与应用(你根本不懂数据仓库)(1)

数据仓库定义,我们这里不看那些复杂的解释,给大家举个例子:

其实数据仓库可以看成是BI的基础版本、数据库的升级版本,我们可以把公司里的数据都想象成一个个文件夹,数据库就是这一个个文件柜,这个文件柜存放着非常多的数据,无论这个数据是什么、或者是如何组织的。

而当我们的文件非常多、种类非常复杂的时候,我们的就想要寻找某个文件夹的时候,如果每个文件柜每个文件柜的去找,实际上是非常耗费成本的,因此我们不妨建立一个档案室,对不同的文件柜进行编号、归类、分组,方便我们快速定位数据源,这个档案室就是数据仓库。

数据仓基础与应用(你根本不懂数据仓库)(2)

数据仓库的逻辑架构

数据仓库的输入方式各种各样的数据源,最终的输出用于企业的数据分析、数据挖掘、数据报表等方向,支撑企业决策

所以从广义BI上来理解,数据仓库是BI的基石,数据仓库为BI系统提供良好的数据基础,为分析决策提供数据支持,也就是地基和房子之间的关系。

接下来再说说狭义BI和数据仓库的关系。

传统的BI方案的数据仓库、ETL、OLAP分析、数据挖掘,前端报表展现的各个环节都是不同的产品,不同的专人负责。假设一个分析报告要改动,涉及到数据层。则要IT部门去改进数据层和业务层,需要耗费很长时间去梳理模型。

于是,随着技术发展,市场上出现了敏捷型的BI产品,也就是狭义上的BI, 把数据建模和和OLAP分析都集成到应用里了, 不用事先建模。

在做报表,拖拽数据字段的时候,就能随机看到分析结果,做到即时分析,且在分析过程中灵活调整分析维度和报表展现,需求变更可以在一天之内响应。

数据仓基础与应用(你根本不懂数据仓库)(3)

比如FineBI,作为数据分析工具,简单容易、可视化酷炫、性能好、稳定性强是其优点,我就不过多赘述,详见《阿里数据总监来谈谈中台、数仓和报表平台的区别,你看的都不对》

在利用BI工具构建BI系统的时候并不一定需要数据仓库,在数据库的基础上搭建也行。但是对于中大型企业,考虑到日常事务多,数据量大,数据库往往要做更多的写优化,在这样的背景下通过构建数据仓库。

将数据通过ETL过程抽取到数据仓库,在此基础上利用BI工具做数据分析与前端展现会更加高效,所以在很多BI项目中,BI工具承担的主要还是前段分析、展示的作用,也就是上面架构图中最右边的部分。

其实很多企业做数据仓库的时候,都忽略了数仓与BI、数据库的差异,只去搞底层数据,不去做数据服务和应用,其实就是把数据仓库给狭义化了。

所以这时候我们需要更为庞大的数据仓库,帮助我们去对多个数据源的数据库数据进行抓取,而抓取数据源的过程就可以理解为ETL的工作,这样去理解一个企业的数据架构就会简单很多。

因此数据仓库的本质,其实就是整合多个数据源的历史数据进行细粒度的、多维的分析,帮助高层管理者或者业务分析人员做出商业战略决策或商业报表。

这里面就涉及到了数据仓库的架构,简单来说数据仓库分为四个层次,

  • ODS层:存放原始数据,直接加载原始日志、数据,数据保存原貌不做处理。
  • DWD层:结构与粒度原始表保持一致,对ODS层数据进行清洗
  • DWS层:以DWD为基础,进行轻度汇总
  • ADS层:为各种统计报表提供数据

数据仓基础与应用(你根本不懂数据仓库)(4)

这里要注意数据仓库的架构当中,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。

说到报表,我就要提一下FineReport了,熟悉我的人都知道,我不仅一次提过它,不仅能做报表的基础操作:填报、查询、打印、权限等,对于可视化大屏和移动端dashboard也是不在话下,不好意思,扯远了....

数据仓基础与应用(你根本不懂数据仓库)(5)

也就是说,我们所看到的数据不是直接从数据底层抽取的,相当于我们访问数据仓库的时候,是让图书管理员帮你找一个文件柜,那么怎么更高效地去找,就是数据仓库建设中很重要的一部分工作——数据建模,包括数据的存储模型、逻辑模型、概念模型等等。

这个后面会写到。

如果觉得我写的不错,欢迎关注我,并转发该文章,回复“数据”即可获得我说的工具。

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com

    分享
    投诉
    首页