背景与挑战

零售数据模型有80+万张，其中有大量的临时表、无效表等，零售数据资产用户(尤其是分析师角色)一直存在找模型、理解模型、使用模型困难的情况，面对业务用数、分析需求，在找模型探数据的环节经常消耗较多的时间精力，用户普遍希望可以节约找、用模型的时间，提升交付数据结果、分析结果的效率，而且有些错误的或重复的资产在公司部门内流通，重复资产一方面浪费成本，另一方面无法保证数据的一致性。

为解决用户诉求，同时从产研角度希望优化数据资产的质量和标准化程度，从生产到消费均进行一定程度的优化改造，提升端到端的资产建立标准化程度，进而提升用户使用体验。

数据统一语言

目标：如下图所示，拉齐资产建设者和资产消费者之间的沟通语言，提升找表效率、增强表的可解释性。

d1b4763ff19948b537cb8da0db8d3c8a_format,webp.webp

通过数据维度建模的三个阶段(概念模型、逻辑模型、物理模型)，形成描述模型的标准定义。

0d78d7f2270155e30d615081f3c20362_format,webp.webp

总结为一句话：

业务域 **& 主题 **下，描述了 **X1业务过程， X2业务过程 **的 **X主体 **表，每 **更新频率 **更新更新周期数据的存储方式表，表主键是数据粒度

比如： adm_d04_trade_std_ord_det_snapshot通用域 & 交易下，描述了取消,完成,成交,订单出库,下单的大盘订单表，每天更新近1日的增量快照表，表主键是 ord_type+sale_ord_det_id

维度建模方法论

3个阶段：概念模型 > 逻辑模型 > 物理模型 (1:N:M )

概念模型

在一个分析领域内，描述实体以及实体之间的关系，等同于业务图谱。一个主题下一个概念模型。

实体之间的关系包括引用关系和继承关系，引用关系：一个实体是另外一个实体的属性。继承关系：实体比另外一个实体更细化具体，比如事件和浏览。

where [业务域]+ why[主题]+who[主体集合] + what [业务过程集合]

举例：交易的业务流程图：

2772730d8c39e0c393092bd135f09b14_format,webp.webp

将业务流程中的实体（包括业务活动和业务对象）之间的关系构建出来，变成交易主题下的概念模型：

c51e96741ea26ef1ef836abad44b3926_format,webp.webp

逻辑模型

逻辑模型：是将概念模型转化为具体的数据模型的过程。一个概念模型下会拆分成多个逻辑模型。拆分原则：根据主体或者业务过程进行拆分。

where [业务域] + why[主题] +who[主体] + what [业务过程]

这里的业务过程可以是单个，也可以是多个。一般根据业务将业务相似度高，同粒度的业务过程放在一起。

举例：

where [主站] + why[交易] +who[订单] + what [下单、支付、出库、完成] where [主站] + why[交易] +who[订单] + what [下单、支付] where [主站] + why[交易] +who[移动订单] + what [下单]

物理模型

用技术手段将逻辑模型通过不同的加工方式和周期频率等物化形成多个不同的物理模型。一个逻辑模型对应一个或者多个物理模型。更新周期：每次更新多久的数据。更新频率：多久更新一次。加工粒度：描述模型每一行的业务含义，也就是主键。

where [业务域] + why[主题] +who[主体] + what [业务过程]

when [更新周期+更新频率]

how much [加工粒度]

how [更新方式]

举例：

[主站] + [交易] +[订单] + [下单、支付、出库、完成] + [未归档/日]+[订单号] + 增量

[主站] + [交易] +[订单] + [下单、支付、出库、完成] +[未归档/日]+[销售订单明细编号] + 增量

[主站] + [交易] +[订单] + [下单、支付、出库、完成] +[近1日/日]+[销售订单明细编号] + 增量

[主站] + [交易] +[订单] + [下单、支付、出库、完成] +[近180日/日]+[销售订单明细编号] + 增量

[主站] + [交易] +[订单] + [下单、支付] +[近1日/日]+[销售订单明细编号] + 增量

[主站] + [交易] +[移动订单] + [下单] +[近1日/日]+[订单号] + 增量

资产认证

基于数据标准，推进资产认证，通过资产完备性、唯一性治理，存量资产关停并转，提升认证资产的需求覆盖率，降本增效。目前，已认证模型近3000张，资产需求覆盖率84%以上，覆盖零售范围内的交易、用户、流量、营销、财务等核心主题数据资产建设。

e5ef96c43f6673c3ce318c946f2f2c05_format,webp.webp

资产可感知

从全局到局部，端到端的全面了解数据资产，提升资产可感知的能力，包含：

1）推进数据资产图谱的自动化构建能力，从资产全景上快速了解到业务流程及业务数据化的资产模型（数据孪生）；

2）丰富模型详情页，归一所有信息源，并增加对模型行高、数据范围、常见问题等信息，提升用户理解模型的效率；

3）标准字段库，通过对字段标准口径、业务描述、特殊场景、常见问题等信息的补充和完善，提升用户理解模型、用模型的效率。

未来计划

•以用户反馈问题出发，完善和优化数据标准5W2H，使其确保数据资产清晰易理解的目标达成；

•依据样板间的效果反馈，完善样板间的功能和内容，并推广到其他主题资产；

•加强数据资产运营，扩展渠道，提升用户找数用数体验。

京东零售数据资产能力升级与实践：https://blog.51cto.com/u_15714439/10050196