软考中项-第6章 数据工程 精简课件
#郑房新软考 系统集成项目管理工程师-第6章 数据工程 精简课件讲解
#系统集成项目管理工程师 #软考中项 #软考中级 #广州落户 #深圳落户 #东莞落户

一、数据工程概述
数据工程是信息系统的基础工程，围绕数据全生命周期（采集、预处理、存储、治理、建模、分析、应用、安全）开展全流程管理，为信息系统运行、数据共享、互联互通互操作提供可靠保障，是组织实现数据资源化、标准化、资产化、价值化的核心手段。
二、数据采集和预处理
1. 数据采集
数据采集又称数据收集，是根据业务需求收集各类数据的过程，是数据要素建设的基础环节。采集数据分为三类，对应不同结构特征与应用场景。
数据类型
①结构化数据：以关系型数据库表规范管理，格式固定、结构规整；
②半结构化数据：无严格二维表结构，具备基础固定模式，如日志文件、XML文档、邮件；
③ 非结构化数据：无固定存储结构，如文档、文本、图片、音视频、网页等。