引言与声明
此文章PPT来源于某圈内好友业内对外培训材料,版权归XX北京XX信公司原作者珂珂所有。珂珂进行深度解读,大家一起学习进步,欢迎转载分享。
一、政策解读与导向
二、为什么需要建设?核心价值在哪?
《大数据湖仓一体化建设项目实施指南2026》
这是一份基于数据驱动DOA数据架构理论编制的某省集团电信数据湖平台产品规划方案,声明:本人是此方案的原创作者,转载请标注原创作者:珂珂、XX毅、XX自岭、XX省电信企业信息化部。
这份材料是2021年我在某数据治理一线大厂工作时候为某省电信大数据资产管理平台产品三期做的一个产品规划,内容讲清楚了:数据湖的技术演变、数据资产管理、大数据安全治理在项目上的二期实施应用以及数据湖技术路线的演进。内容非常的详实。(因涉及相关电信核心密级,此文档已经删除项目敏感内容,并进行了安全脱敏处理,仅分享解决方案给大家学习研究。欢迎大家评论,转载,分享数据治理知识。)
数据湖是目前比较热的一个概念,火了很多年,现在很多人都在吹嘘数据湖,但是什么是数据湖?怎么建设数据湖?你究竟做没有做过数据湖相关的实战项目或是相关项目需求的代码开发?只是懂概念?还是忽悠客户做咨询?还是真正的有实际的相关项目和产品研发经验?下面这份完整的基于数据湖建设思路某集团的数据建设方案,就让你彻底的搞明白?数据湖怎么建、数据中心怎么建、集团的项目实施落地方案怎么做?来珂珂详细的给你细品。
许多企业都在构建或者计划构建自己的数据湖。但是在计划构建数据湖之前,搞清楚什么是数据湖,明确一个数据湖项目的基本组成,进而设计数据湖的基本架构,对于数据湖的构建至关重要。关于什么是数据湖,有如下定义。数据湖是一类存储数据自然/原始格式的系统或存储,通常是对象块或者文件。数据湖通常是企业中全量数据的单一存储。全量数据包括原始系统所产生的原始数据拷贝以及为了各类任务而产生的转换数据,各类任务包括报表、可视化、高级分析和机器学习。数据湖中包括来自于关系型数据库中的结构化数据(行和列)、半结构化数据(如CSV、日志、XML、JSON)、非结构化数据(如email、文档、PDF等)和二进制数据(如图像、音频、视频)。数据沼泽是一种退化的、缺乏管理的数据湖,数据沼泽对于用户来说要么是不可访问的要么就是无法提供足够的价值。
随着企业的现代化,各式各样的数据结构、越来越高的实时性、快速变化的数据模型等现实情况导致数据仓库已经不能满足日益增长的企业需求,以Iceberg、Hudi、S3为代表的数据湖便应运而生。开放的文件存储、开放的文件格式、开放的元数据服务以及实时读取与写入等特点使它们受到大家的热烈追捧,各大云厂商也随之纷纷提出自己的数据湖解决方案,因此有人说,数据湖是下一代大数据平台。
新的事物总有两面性,一方面数据仓库无法容纳不同格式的数据,另一方面,数据湖缺乏结构和治理,会迅速沦为“数据沼泽”,两种技术均面临严重的局限性。在此背景下,融合了数据仓库与数据湖优点的新的架构模式"湖仓一体"被提了出来。“湖仓一体”是一种新的架构模式,它将数据仓库与数据湖的优势充分结合,其数据存储在数据湖低成本的存储架构之上,拥有数据湖数据格式的灵活性,又继承了数据仓库数据的治理能力。
··· 在此,【微信公众号·让大数据飞起来】整理了《珂珂原创~某省电信数据湖与数据资产管理培训课件(PPT36页)+精美收藏版》,提供大家研读学习。材料仅供参考~~ 不能用于商业使用,仅供学习交流!欢迎转发、分享!
正文预览





































