Эпизоды
-
在当今这个数据驱动的时代,数据建模和数据质量管理是确保数据价值最大化和数据资产健康的关键。数据建模是构建数据结构和关系的过程,它帮助我们理解、组织和利用数据。而数据质量管理则是确保数据准确、完整、一致和可靠的过程。二者相辅相成,共同为数据驱动的决策提供坚实的基础。
数据建模是数据工程的核心,它涉及从原始数据中提取信息,构建数据模型,以反映现实世界的复杂性。数据建模的过程通常包括需求分析、概念建模、逻辑建模和物理建模。通过数据建模,我们可以创建出清晰、结构化的数据架构,这不仅有助于数据的存储和管理,还能优化数据的访问和分析。例如,在构建一个电子商务平台时,数据建模可以帮助我们设计出用户、产品、订单等实体之间的关系,从而支持复杂的查询和报告。
数据质量管理则关注于确保数据的准确性、完整性、一致性和时效性。高质量的数据是做出明智决策的前提。数据质量管理包括数据清洗、数据验证、数据整合和数据监控等环节。数据清洗去除重复和错误的数据,数据验证确保数据符合预定义的规则和标准,数据整合将来自不同源的数据合并在一起,而数据监控则持续跟踪数据质量,确保数据在整个生命周期中保持高质量。例如,在金融行业中,数据质量管理确保交易数据的准确无误,这对于风险管理和合规性至关重要。
数据建模和数据质量管理是数据治理的重要组成部分。数据治理是指制定和执行数据管理的策略、标准、流程和责任,以确保数据的正确使用和保护。通过有效的数据治理,组织可以确保数据的可用性、安全性和合规性,同时提高数据的可信度和价值。
二十届三中全会《中共中央关于进一步全面深化改革、推进中国式现代化的决定》
健全促进实体经济和数字经济深度融合制度。
加快推进新型工业化,培育壮大先进制造业集群,推动制造业高端化、智能化、绿色化发展。
建设一批行业共性技术平台,加快产业模式和企业组织形态变革,健全提升优势产业领先地位体制机制。
优化重大产业基金运作和监管机制,确保资金投向符合国家战略要求。
建立保持制造业合理比重投入机制,合理降低制造业综合成本和税费负担。
加快构建促进数字经济发展体制机制,完善促进数字产业化和产业数字化政策体系。
加快新一代信息技术全方位全链条普及应用,发展工业互联网,打造具有国际竞争力的数字产业集群。
促进平台经济创新发展,健全平台经济常态化监管制度。
建设和运营国家数据基础设施,促进数据共享。
加快建立数据产权归属认定、市场交易、权益分配、利益保护制度,提升数据安全治理监管能力,建立高效便利安全的数据跨境流动机制。
-
数据治理的定义
《DAMA-DMBOK》 :在管理数据资产过程中行使权力和管控措施,包括计划、监控和实施。
《ISO IEC 38505-1 数据治理国际标准》 :将数据的治理定义为IT治理的子集或域,而IT治理本身是组织的子集或域,或就公司而言,是公司治理。
Gartner Group :一种技术支持的学科,其中业务和IT协同工作,以确保企业共享的主数据资产的一致性、准确性、管理性、语义一致性和问责制;
《GB/T 44109-2024 信息技术大数据数据治理实施指南》:对数据进行处置、格式化和规范化的过程。
DAMA车轮图
信息技术大数据数据治理实施指南
-
Пропущенные эпизоды?
-
本周内容超长,分上下集处理
重点内容:
数据可访问性的监测方法和量化标准
什么是数据治理?
1.DAMA-DMBOK怎么定义的?
2.GB/T 44109-2024 信息技术大数据数据治理实施指南怎么定义的?
-
本章重点讲解准确性、一致性、时效性;
准确性--数据准确表示其所描述的真实实体(实际对象)真实值的程度;
一致性--数据与其他特定上下文中使用的数据无矛盾的程度;
时效性--数据在时间变化中的正确程度;
本章也分享广东版“数二十条”相关内容
-
在2021年9月1日,《中华人民共和国数据安全法》正式施行,明确规定“国家建立数据分类分级保护制度”,数据分级分类是数据安全管理的重要措施,它涉及到对数据资产的识别、分类和定级,是保障数据合规的前提,也是数据资产入表的前提。
数据质量情况会影响数据价值,在实际的数据质量管理过程中怎么进行自动化监测和量化,本章会开始讲解;
关注微信公众号:数据要素乱弹,回复0621,获得ppt资料
-
1.准备计入数据资产负债表的数据资源怎么计量?
2.组织内的数据怎么估值?
3.数据资产评估找谁做?
以上是想要做数据资产入表的客户比较关心的问题,本期对三个问题,参照《2024企业数据资源入表实践白皮书》做了详细的拆解和说明;
关注微信公众号回复0615可获得ppt
-
数据验收标准:是对数据治理结果的确认动作,是对开放共享的数据集在使用前的最后一道质检动作。数据使用标准:又叫数据场景使用说明,是数据价值变现的一环。是指对数据在特定环境或应用中的使用方式、统计口径、范围和条件进行详细描述,这有助于确保数据的使用合理、合法、合规。数据合规材料说明-参照《2024企业数据资源入表实践白皮书》
关注微信公众号回复0614可获得ppt
-
本期讨论了标签建设标准设计、指标建设标准设计、数据合规确权的小分享标签是实体的属性维度,是服务于业务场景,且能够为业务所用并产生数据价值的数据资源。指标数据是基于场景出发,为了满足内部分析决策或者外部使用的一个高度凝练的数据结果集,指标数据标准是为满足管理指标生产过程、对基础类数据加工而产生的指标数据标准化规范。数据知识产权具备知识产权的基本特征:一是区别于传统所有权,知识产权是一种无形资产,不具有物质实体形态,是产生于精神领域的非物质化的财产权;二是知识产权具有可复制性,其所保护的客体可被复制和传播;三是知识产权主要保护智力创造成果,使得创造者能够从智力劳动中获得回报;四是知识产权只在法律规定期限内受到保护,超过法定期限该权利自行消灭。数据资产是一个会计概念,更关注该数据资产是否能为企业带来经济利益。如该数据达不到知识产权所应具备的“创造性”,但能够为企业降本增效,也可计入“无形资产”项下增设的“数据资源”会计科目或“存货”会计科目,继而成为企业的资产。就使用期限而言,数据资产也存在根据其使用寿命而在会计上确认的摊销年限,摊销年限结束,则数据资产归为零。
关注微信公众号回复0607可获得ppt
-
数据一致性的类型可以按存储维度和业务维度两方面划分。从存储维度划分包含跨库一致性、跨表一致性、表内一致性;从业务维度划分包含业务内容一致性、业务逻辑一致性、业务内容与元数据一致性;
关注微信公众号回复0531可获得ppt
-
新质生产力,利用先进技术帮助企业从海量的数据资源提炼出高价值的数据资产,助力企业搭上数字产业化的顺风车,实现数据价值最大化,以新提质,数创未来。
关注微信公众号回复0526可获得ppt
-
从本期开始讲解数据处理标准设计,数据处理标准是指在数据归集完成后,对数据进行标准化和信息挖掘的过程中的数据处理标准,用于指导数据生产人员的生产过程。常见的数据处理标准包含数据清洗标准、数据切分标准、多源数据融合标准、关联关系建设标准、标签建设标准、数据一致性处理标准、指标计算标准、其他通用标准这几大类等一系列数据处理标准。数据为爱发电人(发癫人)
关注微信公众号回复0503可获得ppt
-
数据价值管理是指通过一系列管理策略和技术手段,帮助企业把庞大的、无序的、低价值的数据资源转变为高价值密度的数据资产的过程,即数据治理和价值变现。
关注微信公众号回复0511可获得ppt
-
数据资源梳理是指对企业或组织中所拥有或使用的各类数据进行详尽的盘点的过程,这个过程的目的是为了更好地理解数据的构成、来源、质量和用途,从而提高数据的可用性和价值。
关注微信公众号回复0505可获得ppt
-
数据资产入表是指将数据资源确认为企业资产负债表中的“资产”一项,即将数据资产以会计科目和货币化形式呈现,推动企业数据资源向数据资产转变,形成规范的数据资产开发、运营和管理体系,提升企业数据治理能级的过程。
关注微信公众号回复0503可获得ppt