构建数据中台指标
尹鑫
发布于 云南 2021-12-09 · 1.5w浏览 3回复 11赞

一、指标规范定义

(一)面向主题域管理

为了提高指标管理的效率,需要按照业务线、主题域和业务过程三级目录方式管理指标(业务线是顶级目录)。比如在网易,电商、游戏、音乐、传媒、教育都是不同的业务线。在业务线之下,是主题域,指标中的主题域与数仓中的概念是一致的,划分标准最好是跟数仓保持一致。在主题域下面还有细分的业务过程,比如对于交易域,细分的业务过程有加入购物车、下单、支付。

(二)拆分原子指标和派生指标。

如“黑卡购买用户数”和“非会员购买用户数”,这两个指标对购买用户数口径定义不一致的问题,我们需要引入原子指标和派生指标的管理方式。那么什么是原子指标,什么是派生指标呢?统计周期、统计粒度、业务限定、原子指标,组成派生指标,所以原子指标可以定义为不能够按照上述规则进一步拆分的指标。可以这样理解:购买用户数是原子指标,原子指标的口径定义是“计算周期内去重的,下单并且支付成功的用户数量,包括关单”;黑卡会员和非会员都可以认定为业务限定词;统计粒度是商品粒度的;统计周期是 30 天。这样 30 天内,商品维度的黑卡会员购买用户数和 30 天内商品维度的非会员购买用户数就作为两个派生指标存在,但是他们继承自同一个原子指标。

(三)指标命名规范。

指标命名规范要遵循两个基本的原则:

1.易懂,就是看到指标的名称,就可以基本判断这个指标归属于哪个业务过程;

2.统一,就是要确保派生指标和它继承的原子指标命名是一致的。

除此之外,指标应该有指标名称和指标标识(或者叫英文名)。对于原子指标,指标名称适合用“动作 + 度量”的命名方式(比如注册用户数、购买用户数),标识的命名用英文简写或者汉语拼音缩写比较好。对于派生指标,指标名称应该严格遵循“时间周期 + 统计粒度 + 修饰词 + 原子指标”的命名方式,标识命名要用“修饰词 _ 原子指标 _ 时间周期”的方式。

(四)关联的应用和可分析维度。

对于使用指标的人(运营、分析师)了解了这个指标的口径定义之后,下一步就是要看指标的数值。所以,在全局的指标字典中,还应该有指标被哪些应用使用,这样方便去对应的数据产品或者报表上查看指标的数值。除此之外,还应该有指标的可分析维度,方便分析师从不同的维度分析指标的变化趋势。

(五)分等级管理。

一级指标:数据中台直接产出,核心指标(提供给公司高层看的)、原子指标以及跨部门的派生指标。

二级指标:基于中台提供的原子指标,业务部门创建的派生指标。

不同等级的指标意味着管理方式不同:一级指标,要确保指标按时、保证质量产出,指标创建由中台负责;二级指标,允许业务方自己创建,中台不承诺指标的产出时间和质量。

三、指标系统

很多公司喜欢用 Excel 管理指标,觉得 Excel 上手容易,编辑比较方便。其实,Excel 并不是一个适合指标管理的工具,有这样几个原因:1.难于共享;2.缺少权限控制;3.无法动态更新;4.指标无法跟数仓的模型动态关联。所以,我们需要一个面向指标的管理系统。

 

指标系统是基于元数据中心构建的一个指标管理工具,它从元数据中心自动同步数仓的主题域和业务过程,按照规范化定义创建指标。新创建的指标同时会以特定类型的标签,下沉到元数据中心对应的表和字段上,这样在数据地图上就可以搜索到表关联的指标。

 

指标系统还提供了按照指标名称、标识、业务口径的检索功能。

 

 

四、基于指标系统构建全局的指标字典

指标治理的最终结果,就是要形成一个全局业务口径一致的指标字典。让使用指标的人,可以通过指标字典,快速了解指标的业务含义和计算过程,不会对指标口径产生歧义。数据中台团队必须要有一个专门负责指标管理的人或者小组(一般不超过 3 个人),最好是数据产品经理来负责,如果你的公司没有这个职位,也可以让分析师承担(前提是分析师必须属于中台团队)。构建全局的指标字典分为两个场景:一个是面对一个新的指标需求,如何基于指标系统完成指标开发流程;另外一个是面对已经存在的,混乱的指标现状,如何进行全局梳理,先来看第一个场景。

 

这个图详细地描述了新建指标的流程,流程中参与的各个角色。需要注意几点:指标需求评审,需要需求方、数据开发、应用开发都参加。

Ø 评审首先要确认这是不是一个新的指标,并明确它是原子指标还是派生指标。评审的目的就是要大家达成一致。

Ø 评审的结果一种是不需要开发,是一个已经存在的指标,直接可以通过设计逻辑模型(具体我会在数据服务章节讲),发布接口,获取数据。第二种就是需要开发。前者交付时间短,后者需要排期,交付时间长。

Ø 指标有一级和二级之分,这个流程适用于一级指标,对于二级指标,可以不需要评审,当然开发也是由业务方开发和发布上线。

接下来,我们来看第二个场景。除了新建指标的流程,对于很多公司,已经有一定的大数据业务,但是还不能算是一个中台,那这部分公司该如何进行一次全局的指标梳理呢?应该有以下几个步骤:

1. 成立以数据产品或者分析师为核心的 1~3 人的工作小组,专门负责指标的全局梳理;

2. 制定指标梳理计划,明确指标梳理目标,覆盖多少个业务线,与业务方共同制定时间计划;

3. 对于每一个业务线,需要对还在使用的数据报表、数据产品进行盘点,这里顺便可以把没用的报表和数据产品应该下线;

4. 对于每一个报表和数据产品中涉及的指标,按照以下格式进行收集;

 

5. 对于收集的指标,明确业务口径,对于口径相同的,应该去除重复,关联的应用应该合并,此时以我的经验,可以过滤掉相当一部分;

6. 根据指标业务口径,明确指标所属的主题域、业务过程;

7. 区分指标类型,对于派生指标,要明确指标的统计粒度、修饰词、时间周期以及关联的原子指标;

8. 按照指标系统对指标的规范化定义,把整理好的指标录入指标系统。

 

五、总结

Ø 数据中台直接产出的核心指标必须实施强管理,由数据中台团队的专人或者小组负责,最好是数据产品经理的角色。

Ø 指标的管理必须结合系统 + 规范的治理方法,明确每个角色的职责,通过系统化的方法实现。

Ø 不同的两个指标描述的相同业务过程中的相同事实部分口径不一致,是指标梳理过程中最常见的问题,需要通过拆分原子指标和派生指标的方式解决。

尹鑫
Aspire to inspire until I expire
浏览 1.5w
11 收藏 3
相关推荐
最新评论 3
赞过的人 11
评论加载中...

暂无评论,快来评论吧!