还剩2页未读,继续阅读
文本内容:
数据治理学习笔记
一、数据治理相关概念-数据分类数据分为主数据、交易数据、参考数据、元数据和统计分析数据主数据Master Data,关于业务实体的数据,如人、地点、客户、产品等主数据关注的是‘人和物”,主数据管理MDM是数据治理领域一个专门的话题,其主要目的是对关键业务实体如员工、客户、产品、供应商等建立统一视图,让客观世界里本是同一个人或物,在数据世界里也能做到唯一识别,而不是在不同系统、不同业务中成为不同的人或物交易数据/事务数据Transactional Data,描述业务运营过程中的内外事件或交易记录如销售订单、采购订单等交易数据关注的是“事”,由于交易数据是BI分析的基础,因此往往在数据质量管理中重点关注参考数据Reference Data,用于将其他数据进行分类或目录整编的数据,规定参考数值是几个允许值之一如客户等级参考数据是更细粒度的数据,是对“人“事’”物的某些属性进行规范性描述的,对参考数据的管理一般会与主数据管理同时进行,或与BI数据质量管理同时进行,因为指标维度和维值直接影响到BI数据质量
6.,,元数据Meta Data,描述数据的数据帮助理解、获取、使用数据分为技术元数据、业务元数据等元数据本质是为数据提供描述,所以任何数据都有元数据数据治理领域的元数据,更多是指BI、数据仓库这个范畴内的元数据统计分析数据Analytical Data,对业务进行统计分析的指标目前BI系统建设的主要作用就是做各种指标和报表的计算和展示指标往往是数据治理的重点,指标的数据流分析、指标数值的波动性、平衡性监控,几乎是各个企业做数据治理的必备应用二数据治理《DAMA数据管理知识体系指南》一书给出的定义数据治理是对数据资产管理行使权力和控制的活动集合规划、监控和执行数据治理职能指导其他数据管理职能如何执行从理论上来讲数据治理主要是三个目的保证数据的可用性、数据质量和数据安全
二、数据治理的方法谁负责数据治理?治理或者管控对象是什么?技术工具有哪些?-组织架构首先来谈谁负责数据治理,也就是组织架构从理论和国外实践来看,大型企业会建立企业级数据治理委员会,业务部门领导、IT部门领导共同参与在企业级之下,还可以有部门级、项目级的委员会,负责某些局部的(数据治理,在最基层面向某一个业务领域应该有相应的数据管理专员Data Steward)0
(二)治理/管控对象
1、治理内容从宏观到微观,数据的形态体现为数据架构、数据标准和数据质量标准数据架构,包括了数据模型(概念模型、逻辑模型)以及数据的流转关系,一般在企业级和系统级会谈数据架构,主要对企业数据的分类、分布和流转进行规划、设计,确保新建系统、新建应用能够与现有系统保持一致和融合,避免产生信息孤岛,或者带来重复不必要的数据集成、数据转换数据标准,包括了数据项、参考数据、指标等不同形式的标准举例来说,“客户类型”是一个数据项,应该有统一的业务含义,将客户归类为大客户、一般客户的规则是什么,数据项的取值是几位长度,有哪些有效值(如01,02,03)等是,标准定义出来之后,执行的情况怎么样?是否真正落实到IT系统了?数据质量标准,包括数据质量规则以及稽核模型(即规则的组合应用)数据质量规则一般会关注及时性、准确性、完整性、一致性、唯一性等,展开来谈还有许多内容,有的专家整理出12个数据质量维度,有定性的也有定量的IT部门应该牵头制定并且定期更新企业级的数据架构、数据标准和数据质量标准,作为新建系统和应用的指导约束值得注意的是,在标准制定的过程中,要避免IT部门的闭门造车,一定要让业务部门充分参与进来
2.过程管控信息系统建设过程数据质量不佳主要原因之一是在信息系统建设的过程中忽视了对数据的管控,这就会造成数据的设计与需求不一致,开发与设计不一致,对数据质量要求考虑缺失,不同系统对数据的定义和技术实现不一致等等诸多问题等待系统上线后再去解决这些问题,亡羊补牢,消耗资源在信息化早期阶段ERP、CRM等操作型系统的建设是以功能和流程为中心,而后期BL数据仓库、大数据平台等数据分析平台的建设是以数据为中心的,这就注定一些传统方式需要改变,应该更加注重对数据架构、数据标准、数据质量的管控,更加关注数据的生命周期,否则数据分析平台建设成功的概率不高
(三)技术工具元数据、主数据、数据质量是主要的技术手段如果前面所说的组织架构、治理内容、过程管控等管理机制、技术标准不到位,仅仅上一套软件工具,起不到任何效果以上软件工具的作用又是什么呢?核心作用在于知识的固化和提高数据治理人员的工作效率比如,需要手工编写程序收集的元数据,工具帮你自动获取;需要人工识别或编写代码实现的数据质量检查,工具帮你自动识别问题;用文档管理的数据字典,工具帮你在线管理;基于邮件和线下的流程,工具帮你线上自动化除此之外,数据治理的软件工具与其他软件工具一样,没有什么神奇之处,没有数据治理人员的参与和数据治理工作的推进,软件也只是看上去很美这也是为什么数据治理咨询服务一直有其市场,以及为什么国内大部分单纯数据治理软件项目未能达到预期目标。