多维分析平台的数据质量监控很重要。数据质量监控是有一套完整方法论的，从需求调研、指标定义、开发规范、到任务和数据质量的监控，有一套完整的流程。业内很多采用数据质量治理模型DMAIC，分别是指Define、Measure、Analyze、Improve、Control；对应数据质量治理边界的定义、数据质量评估模型的建立、数据质量问题的异常发现与问题归因、数据质量改进。DMAIC模型就不展开讲了。在37手游的业务实践中，是从数据有效性、数据的一致性、准确性、完整性和时效性五个维度来进行评估数据质量的。

4. 多维分析平台数据质量监控预警系统

37手游构建了一套数据质量监控预警系统来监控数据质量。

下图是数据质量监控的流程图，主要包括四个模块，第一个就是调度模块，第二个就是后端服务模块，第三个就是执行引擎模块，第四个模块就是告警服务。整个系统主要就是为了检测和发现多维分析平台的数据质量问题，然后提供监控告警。调度器发起监控任务后，后端服务模块就会提交作业任务到执行引擎，执行引擎从多维分析平台中去拉取数据然后再执行引擎里面做计算，或者是把计算下推到多维分析平台执行；之后把计算结果返回给后端服务，后端服务判断返回的结果数据是否存在问题或者异常，如果有问题就会调起告警服务。

5. 多维分析平台数据质量监控预警信息

根据异常告警等级，告警信息通过短信、微信或者电话的方式来发送给业务方或者是属主。上图是企业微信上收到的一个告警信息截图。

6. 未来规划

下面介绍一下未来的规划。

前面介绍了37手游OLAP计算引擎的架构演进：从MySQL、Druid，到Impala，再到ClickHouse，最后到StarRocks，有太多的组件，维护的工作量非常大，所以接下来的重要工作之一就是对现有的组件做一些减法，收敛组件，用尽量少的组件来满足更多的业务场景，减轻运维压力。

第二项重要工作就是SaaS产品的引入，不管是社区还是公共云，都有一些比较好一点的组件和37手游的业务场景非常匹配，比如说阿里云的hologress，一个组件就能够解决用户画像场景中Hbase StarRocks两个组件组合才能解决的的业务问题，无论K-V点查询、还是OLAP查询，hologess的性能都挺强；如果公司可以使用公共云，hologress也是一个挺不错的解决方案。

第三项重要工作是ELT模式的探索。数仓经过清晰的数据分层设计与ETL数据计算，链路还是挺长的。随着组件的演进和发展，ELT也是一个挺不错的解决思路，就是原始数据或者是粗加工的数据，导入到多维分析平台之后，在多维分析平台内部进行统一口径的数据转换加工处理，再对外提供服务；这种方式精简了整个数据的加工链路，组件少了，流程少了，时效就能得到提升了。

今天的分享就到这里，谢谢大家。

分享嘉宾：闫铁 37手游 数据架构师

编辑整理：易双凤 vivo

出品平台：DataFunTalk

01/分享嘉宾