时间:2023-01-19 | 标签: | 作者:Q8 | 来源:网络
小提示:您能找到这篇{谈谈数据治理:怎么做元数据管理?}绝对不是偶然,我们能帮您找到潜在客户,解决您的困扰。如果您对本页介绍的谈谈数据治理:怎么做元数据管理?内容感兴趣,有相关需求意向欢迎拨打我们的服务热线,或留言咨询,我们将第一时间联系您! |
本篇文章主要是谈下元数据管理,对于元数据的一些概念我再简单地介绍下:
那在项目中元数据管理该怎么做呢? 01 元数据范围首先确定元数据来源范围,在实际的工作中,不是所有数据都是要做元数据管理,通常我们会选择业务数据做元数据管理,非业务数据(例如:备份数据、系统日志等)是不会纳入管理范围内,主要还是因为元数据管理是提供业务和开发人员快速掌握业务数据。 确定规则后,就要结合公司的实际情况去梳理出哪些业务系统、哪些数据库、哪些数据库用户、哪些表需要做元数据管理。当然也可以支持非结构化数据的元数据抽取江苏微信朋友圈做广告多少,例如:word、pdf等。 02 元数据接入元数据从哪接入,一般都是从源系统接入,假如公司已经存在数仓或者实时性要求不高,为了节约开发工作量,武威抖音代运营问抖咖团队对于已有的元数据会从数仓接入,还未接入的会从源系统进行接入。 但这种方案也是存在风险,假如数仓的数据和源系统出现不一致,就会导致元数据出错。现在大部分的元数据抽取都是采用配置自动化的方式进行。 03 元数据标准在梳理的过程中可能会出现有些数据库或者有些数据定义不规范的情况,导致元数据管理无法进行下去。那接下来需要建立元数据的管理规范,去反推前端的源数据进行整改,主要是保证元数据的完整性和一致性。 针对不同的类型的公司要求,元数据会开放给不同的人群,所以要对元数据进行权限管理,规范里面就需定义权限的管理流程:元数据的权限分层、元数据权限申请流程、元数据的发布流程、元数据的审核流程。 我的公司将元数据分为业务和技术两个管理属性,技术人员可以查看全域元数据,业务人员只能查看自己所对应业务流程的元数据,如要查看其他业务流程的元数据,需进行申请,申请流程要过元数据对应的业务和技术属主。 04 元数据维护元数据维护主要是对已经发布的元数据进行维护管理,已经发布上线的元数据,如需调整、优化则必须重新走元数据发布流程,不准许对元数据进行直接修改。为了安全,元数据所有操作行为都要记录到元数据操作日志里面。 可以对元数据创建目录将不同的元数据挂在对应的目录下,按照业务流程、业务主题域、开发流程设计对应的目录,主要还是根据公司要求设计。 05 元数据查找、分析、报告有单独的页面支持元数据的模糊或精准快速查找,通过输入关键信息查找对应的元数据。我所在的公司将元数据作为数据资产的一类,因此我们需要产出元数据资产报告,从报告中能够快速的了解元数据访问热度、数据价值、数据成本、数据分布等相关信息。 分析这块上一篇文章就有提到,主要是血缘分析,做血缘分析的两种方法。血缘不错的抖音平台代运营团队分析对做关联影响分析很重要,尤其是刚进来的开发或者业务不了解数据,通过血缘分析能够快速的定位、分析数据。
本文由 @木子姐 于。, ,基于CC0协议 |
上一篇:埋点还是埋雷? 十年数据分析经验,教你如何结
下一篇:优秀的数据分析师有哪些特质(一)?
小提示:您应该对本页介绍的“谈谈数据治理:怎么做元数据管理?”相关内容感兴趣,若您有相关需求欢迎拨打我们的服务热线或留言咨询,我们尽快与您联系沟通谈谈数据治理:怎么做元数据管理?的相关事宜。
关键词:2年, 元数据, 初级, 数据治