hdp大数据平台使用（DAP数据集立方体功能扩展及应用说明）

科技飞速发展的时代，企业信息化建设会越来越完善，越来越体系化，当今数据时代背景下更加强调、重视数据的价值，以数据说话，通过数据为企业提升渠道转化率、改善企业产品、实现精准运营，为企业打造自助模式的数据分析成果，以数据驱动决策。

无论是现在的互联网企业，还是传统型企业，都需要数据分析。当公司需要决定发展方向或者推出某种新型产品时，就需要数据分析来将一些凌乱的数据进行整合汇总，从而判断出具体的方向。

产品整体介绍

通过不同的产品组合解决不同公司面临的企业困难，帮助企业范围内建立起一整套统一、规范的IT架构标准体系，包括数据规范、服务规范、流程规范、界面规范、接口规范等，彻底解决了当前面临的信息孤岛问题，有利于提高效率和降低成本。

1.产品体系说明

首先介绍我们数通畅联的产品体系：

我们数通畅联的所有产品都是通过K8S云平台进行部署搭建产品环境，通过不同的产品组合方案来解决企业面临的不同信息化困境，帮助企业完善信息化发展。

DAP数据分析平台能与ESB应用集成平台结合，其使用场景主要是通过配置调度任务、执行调度任务，调用ESB数据同步流程，实现数据的采集、抽取、转换、传输、调度等操作，基础数据为DAP提供同源并标准的、一致的数据保障数据分析分析数据的准确性。

2.产品功能说明

数据分析平台是一款能够高效存储、计算、分析并处理海量数据的数据分析产品，能够真实、准确、清晰、有效地将企事业内部及行业外部相关数据进行可视化展现，帮助企事业提升行业洞察力，加强决策力，从而提升整体竞争力。

数据分析平台功能有：

1.数据来源（应用系统定义、数据源头配置、ODS数据定义）数仓模型。

2.数仓模型（业务主题、指标配置、维度配置、事实配置、模型配置）。

3.数据调度（规则校验、调度资源（同步资源、加工资源）、调度任务、质量日志、调度日志（同步日志、加工日志）、通知日志）。

4.分析模型（数据集配置、立方体配置、多维度分析、业务类报表）。

5.展现模型（导航管理、组件管理、展现主题、装饰管理）。

6.统计分析（数据地图、质量分析、血缘分析、影响分析）。

7.系统管理（组织管理、角色管理、人员管理、功能管理、编码类型、编码管理、系统日志）。

3.扩展功能说明

数据集、立方体相关功能属于分析模型，通过数据集和立方体可以在配置组件实例中选择，实现可视化展现、也可以发布成服务。

数据集还支持union合并查询，视化展现有的分析需要计算处理出的的数据，所以数据集和立方体扩展支持汇总计算功能，通过配置计算公式在展现时候后台执行后数据展现到页面中。

扩展场景介绍

本次是对应数据集和立方体扩展支持虚拟字段的计算公式配置、帮助可视化分析展现的数据都是客户想要的，这样分析出的图表数据才能更加直观。

1.功能场景介绍

数据集支持union合并查询是通过数据集中配置、然后通过转换类拼接对应SQL进行查询出对应的数据。

通过数据集立方体字段定义处扩展虚拟字段计算公式配置，通过表达式把数据集其他字段进行汇总计算，表达式是基于mysql计算公式进行配置的，可以通过预制函数公式来构建计算公式，如下图红色标记处为扩展功能：

2.数据集扩展点

数据集是通过选择数据模型来构建的，编码是通过模型编码 DataSet自动生成出来的，数据集创建类型分为：标准数据创建、嵌入数据创建、复合数据集创建三种数据创建模式，通过嵌入数据二次加工标准数据集，然后通过复合数据选择嵌入数据来进行合并union处理。

第二个扩展地方是就通过计算公式配置，然后通过mysql计算公式进行查询相应的数据。

3.立方体扩展点

立方体是选择数据集构建的，编码构建逻辑是立方体 CubeSet，立方体扩展点就一处就是在字段定义位置扩展支持配置计算公式表达式，然后扩展对应转换类支持计算汇总，然后在组件展示时候就可以展示对应的数据。

数据集扩展点

数据集扩展合并union处理和支持汇总计算配置，所以要扩展对应的创建逻辑和扩展配置计算表达式。

1.功能扩展说明

数据集扩展合并union是扩展数据集创建类型分为：标准数据创建、嵌入数据创建、复合数据集创建三种数据创建模式。

数据集需要扩展支持汇总计算功能、满足一些分析图表需需要二次计算后展现的值，需要扩展数据集功能，添加汇总计算配置，通过数据预览和组件展现java计算出对应值。

2.功能配置扩展

数据集扩展合并union是扩展创建类型：标准数据创建、嵌入数据创建、复合数据集创建。

标准数据就是选择对应模型，进行数据集定义：

嵌入数据是选择标准数据集进行二次加工，选择想要展现的字段：

选择你想要展现的字段，定义别名也可以配置对应条件：

复合数据集创建：选择嵌入数据集；

数据集支持汇总计算配置如下：在字段定义位置新增一个虚拟字段：

编辑配置计算表达式：

3.扩展功能展示

数据集支持union合并展现如下：点击数据预览；

合并了如下两列数据：

在组件实例处直接选择配置好复合数据就可以展示对应的数据：

汇总计算配置好后组件实例处展现如下：

立方体扩展点

立方体扩展点只有一处，就是在字段定义位置扩展支持配置计算公式表达式，然后扩展对应转换类支持计算汇总。

1.功能扩展说明

立方体也是对字段定义处进行扩展支持添加虚拟字段，双击就可以配置对应计算表达式，表达式是MySql函数计算公式，然后在立方体转换类拼接SQL时候把这个函数表达式编辑起来进行汇总计算。

2.功能配置扩展

新增立方体-选择对应数据集-然后选择数据集的字段。

然后点击“计算度量”按钮：

新增虚拟字段并配置计算表达式：

3.扩展功能展示

点击数据预览查看对应计算后的数据：

配置后在导航预览处可以查看到计算后的值：

最后总结分析

无论是现在的互联网企业，还是传统型企业，都需要数据分析。当公司需要决定发展方向或者推出某种新型产品时，就需要数据分析来将一些凌乱的数据进行整合汇总。

1.功能扩展价值

上述所讲的是数据集、立方体进行合并处理、表达式计算，这些功能能够使数据分析更加真实有效，能够展现得更加多元化，可以帮助企业领导掌握过去企业整体运营情况，帮助企业把一些凌乱的数据进行整合汇总，提升企业数据价值，最终提高企业竞争力。

2.数据应用说明

数据中台集成业务系统数据，一般情况展现层的数据不是本身系统的数据，是不可能再去业务系统抽取，那样抽取的性能会变差，因为业务系统数据已经到数据中台中而且是治理后标准数据，所以应从数据中台中获取，而获取的途径就是DAP数据服务。

而数据应用另一种可视化展现是对其数据一种应用方式，通过数据可视化，业务组织可以提高他们在需要时查找所需信息的能力，并且比其他公司更高效地完成这些工作通过数据可视化，业务组织可以提高他们在需要时查找所需信息的能力，并且比其他公司更高效地完成这些工作。

3.产品发展说明

产品要从功能性、易用性、开发性、扩展性、高性能、稳定性、美观性不同角度来扩展迭代每个产品，通过到项目中去，再从项目中来，通过客户的需求筛选出我们产品需要的功能，进而升级产品功能，增强产品的功能性。通过不同项目来深度了解行业，预置样例通过不同产品组合来快速搭建，使我们做起项目更加敏捷。

产品不管怎样发展都有一个目的，就是能否解决每个阶段企业面临的困境，帮助企业完善信息化发展，能否够抓住每个企业的痛点，这样才能体现出产品的价值。一款好且稳定的产品可以帮助工作人员快速而方便地工作，大大提高了工作效率，也会让客户满意，增加客户对公司的信任度。

本文由@数通畅联原创，欢迎转发，仅供学习交流使用，引用请注明出处！谢谢~

,