数据中台体系架构包括这六大部分



数据结构和数据处理单元构成了数据中台体系架构的核心,而数据治理则是提升数据价值的关键手段。该体系架构的通用性表现在以下多个方面:


该数据中台体系架构充分考虑了各种数据中台元素,有效提升了数据资产的价值,同时为数据的共享和服务提供了有力的支持。

c8be757d12884aaa-f93851eccc36db17-30dde13fdc73f698a58d63d396b53635.jpg

在规划和实施过程中,企业可以参考这个数据中台体系架构进行逐步的建设。首先需要建设处理和存储子系统,然后在业务发展过程中逐步引入数据采集、安全管理和数据治理子系统。


该数据中台由六个相互独立的子系统构成。企业在建设过程中可以根据实际需求灵活选择,每个子系统都可以单独进行招标建设,也可以将多个子系统合并招标建设。


此外,数据中台体系架构包含了以下六个部分:


1.数据存储框架作为数据中台的核心部分,它负责数据的采集、处理、管理和安全监控,最终为外部提供有价值的数据服务。

对于不同类型和来源的数据,该框架采用了独立的技术架构进行存储和管理。


2,数据源主要由采集框架管理,而根据数据的特征,治理框架将其分为结构化和非结构化两大类。规范化分域数据是治理框架对全量数据进行规范化分域整理的结果。宽表数据是一种数据关联的结果,可以用于更完整地描绘人、事、地、物、组等对象,也可以作为上层模型数据的中间层数据。


3,元数据和标签是数据的描述。其中元数据描述了数据的客观属性,而标签则更多地表达了管理者对数据的观点和等级划分。主数据需要在各系统间频繁地更新和交换,因此需要独立的存储空间进行维护管理。


4,数据采集框架负责对所有纳入数据中台的各种源数据进行统一采集和管理。为了实现这一点,它提供了多种数据采集方式,例如通过文件传输协议采集、数据库采集、接口应用程序接入采集、流式采集及网络爬虫采集等。同时,它还按照数据采集规范对源数据进行预处理,以去除不需要的数据和冗余数据,并对采集过程进行实时监控和管理。尽管每个企业的数据采集框架可能有所不同,但它们的基本构成是一致的。


5。数据处理框架是每个数据应用的基础环节之一,包括数据的抽取、转换、加载等过程。为了提高效率并降低成本,需要建立一个专门的数据处理框架来负责这些处理任务,包括批量处理和流式处理、人工智能分析、数据清洗、交换和查询等任务。此外,该框架还负责配置数据处理工具组件的任务,以及协调和调度数据处理任务的进程。


6.数据治理框架是一个广义的概念,它不仅包括提升数据价值的内容(如数据管理、数据目录、数据质量等),也包括数据安全管理及数据共享服务。然而,由于安全管理和共享服务与提升数据价值之间可能存在矛盾,因此本文不建议包含这两个方面的内容。


7.数据安全框架:由于数据已经成为一种宝贵的资产,因此必须确保其安全。为此,安全框架是必不可少的组成部分。它叠加在数据中台其他功能框架之上,并贯穿于数据的采集、处理、交换和共享等各个过程之中。安全框架可以分为日志管理、用户认证、权限管理及加解密等几个功能模块。此外,安全全门户也可以对外提供安全能力封装,展示数据中台的安全态势及安全视图。


产品试用中心

热门文章

联系我们

联系电话:

关注我们:

填写以下信息马上为您安排系统演示

您还可以拨打客服电话:400-616-2108进行咨询