行业动态
01元数据概述
1.1 元数据定义
元数据(Metadata)又称中介数据、、、中继数据，，是描述数据的数据(data about data)，，，主要是描述数据属性的信息，，用来支持如指示存储位置、、历史数据、、、、资源查找、、、文件记录等功能。。
数据中台的构建，，需要确保全局标准的业务口径一致，，，要把原先口径不一致的、、重复的指标进行梳理，，，，整合成一个统一的指标字典。。。而这项工作的前提，，，是要搞清楚这些指标的业务口径、、数据来源和计算逻辑。。而这些数据都属于元数据。。
1.2 元数据分类
元数据主要分为数据字典、、、、数据血缘和数据特征三类。。。
1.数据字典：描述数据的结构信息，，表结构信息，，主要包括：表名，，字段名，，类型和注释，，表的数据产出任务，，，，表和字段的权限等。。
2.数据血缘：指一个表是通过哪些表的加工而来，，，，数据血缘会进行影响分析和故障溯源。。。。
3.数据特征：主要指数据的属性信息：存储空间大小，，，，数仓分层，，，访问热度，，主题分类，，关联指导等。。。
02 构建元数据中心的关键目标
元数据中心作为数据管理和治理的核心组件，，，，其设计和实施需围绕几个关键目标展开，，，以确保能够有效地支持企业数据战略。。。。以下是元数据中心的五个关键目标：
1.多业务线与多租户支持
元数据中心需具备高度灵活性，，，以支持不同业务线（如电商、、、、金融、、、、物流等）的独特数据需求。。。。同时，，，它应提供多租户架构，，，，确保不同部门或团队（如算法、、、数仓、、风控）在共享元数据资源的同时，，，保持数据的安全隔离和访问控制。。。
2.数据资产管理：
实现企业数据资产的全面可视化，，包括数据源、、、、数据流、、、数据质量、、、、数据血缘等，，，，以便于跟踪数据的生命周期，，，，提升数据的可发现性和可追溯性。。
3.数据标准化与规范化：
建立统一的数据标准和规范，，，，包括数据定义、、、、命名规则、、编码体系等，，减少数据冗余，，，，提高数据一致性，，，，为数据分析和业务决策提供准确的基础。。。。
4.数据治理与合规性：
强化数据治理能力，，，包括数据质量监控、、数据安全管控、、合规性检查等，，确保数据处理活动符合内外部的法规要求（如GDPR、、、、HIPAA等），，，降低合规风险。。。。
5.促进数据共享与协作：
通过提供数据目录、、、API服务、、数据字典等功能，，，促进跨部门、、跨系统的数据共享和协同工作，，，加速数据驱动的业务创新和决策过程。。。
这五个目标相互关联，，，共同构成了元数据中心的核心价值主张，，，，即通过高效的数据管理和治理，，，，提升数据价值，，加速企业数字化转型的进程。。
03 元数据技术
3.1 开源产品
元数据中心的优秀产品主要包括：Netflix的Metacat、、、、Apache的Atlas；
其中，，，，Metacat是多元数据的可扩展架构，，，，擅长数据字典管理，，，Atlas擅长数据血缘。。。
1.Metacat
特点：设计极简，，并不会重复保存元数据，，，而是采取直连数据源的方式，，，因此不会存储重复保存元数据造成的数据一致性问题，，同时架构能做到极致的轻量化，，，每个数据源只要实现一个链接类即可。。。
2.Atlas
数据采集可以分为三种形式
（1）通过静态SQL、、获得输入表和输出表；但是由于任务没有执行，，，存在准确性问题；
（2）通过抓取正在执行的SQL、、、、解析执行计划，，，获得输入表和输出表；最为理想的方式；
（3）通过任务日志解析，，，获取执行后的SQL输入表和输出表；血缘虽然是在执行后产生的，，，，可以保证准确性，，但是存在时效性的问题。。
因此Atlas采取的就是通过抓取正在执行的SQL、、、解析执行计划，，，，获得输入表和输出表的方法。。。
Core核心层：
•Ingest / Export:Ingest组件将元数据添加到Atlas。。同样，，，，Export组件公开Atlas检测到的元数据更改，，并将其作为事件引发。。。用户可以使用这些更改事件来实时响应元数据更改。。。
•Type System类型系统：Atlas允许用户为他们想要管理的元数据对象定义模型。。。。该模型由称为“类型”的定义组成。。。称为“实体”的“类型”实例代表了被管理的实际元数据对象。。。。类型系统是一个允许用户定义和管理类型和实体的组件。。。。开箱即用的Atlas管理的所有元数据对象（例如Hive表）都使用类型建模并表示为实体。。
•Graph Engine图引擎：在内部，，，Atlas使用图模型持久化管理的元数据对象。。。。这种方法提供了极大的灵活性，，，，并能够有效地处理元数据对象之间的丰富关系。。图形引擎组件负责Atlas类型系统的类型和实体之间的转换，，以及底层图形持久化模型。。除了管理图形对象外，，，图形引擎还为元数据对象创建适当的索引，，，以便可以有效地搜索它们。。。。Atlas使用JanusGraph来存储元数据对象。。。。
Integration消息传递层
用户可以使用以下两种方法管理Atlas中的元数据。。。
•Messaging消息传递：用户可以选择使用基于Kafka的消息传递接口与Atlas集成。。Atlas使用Apache Kafka作为通知服务器，，，，用于挂钩和元数据通知事件的下游消费者之间的通信。。。。事件由钩子和Atlas写入不同的Katka主题。。。。
•API:Atlas的所有功能都通过REST API公开给最终用户，，，该API允许创建、、更新和删除类型和实体。。它也是查询和发现Atlas管理的类型和实体的主要机制。。
Metadata sources元数据源层：
Atlas支持与开箱即用的许多元数据源集成。。。。目前，，，Atlas支持从以下来源获取和管理元数据：
•HBase
•Hive
•Sqoop
•Storm
•Kafka
Apps应用层：
Atlas管理的元数据被各种应用程序使用，，以满足许多治理用例。。。。
•Atlas Admin UI：该组件是一个基于Web的应用程序，，，，允许数据管理员和科学家发现和注释元数据。。。这里最重要的是搜索界面和类似SQL的查询语言，，，可用于查询Atlas管理的元数据类型和对象。。。管理UI使用Atlas的REST API来构建其功能。。
•基于标签的策略：Apache Ranger是Hadoop生态系统的高级安全管理解决方案，，与各种Hadoop组件广泛集成。。。通过与Atlas集成，，Ranger允许安全管理员定义元数据驱动的安全策略以实现有效治理
3.2商业化产品
商业化产品比较优秀的是Cloudera Navigator，，，，是Cloudera企业数据平台中一个至关重要的组件，，定位为一个数据管理工具，，专注于数据管理和治理。。。。它为Hadoop和其他大数据生态系统中的数据提供了一个全面的解决方案，，旨在帮助企业实现数据的透明度、、、可追溯性和合规性。。。
Cloudera Navigator的核心功能主要包括：
数据审计：通过Navigator Audit Server，，，系统能够记录所有数据相关的活动，，包括时间戳、、执行操作的用户名、、源IP地址、、、涉及的服务以及具体的操作详情。。这为数据安全、、合规审计和故障排查提供了详细记录。。。
元数据管理：Navigator Metadata Server负责收集和管理Hadoop集群中的元数据。。。它不仅追踪数据的物理位置，，还提供数据查询、、、标签、、、数据血缘分析等功能，，帮助用户理解数据的来源、、变换过程和流向，，，，这对于数据质量管理和影响分析至关重要。。
数据治理：Cloudera Navigator支持数据分类和政策管理，，，，允许企业根据数据的敏感性和业务规则设置访问控制和保留策略。。。通过数据标签，，，用户可以轻松地对数据进行分类和保护，，，确保数据按照规定的方式被使用和存储。。。
数据血缘与影响分析：提供可视化的数据血缘图谱，，，，展示数据从源头到最终消费的全过程。。。。这有助于用户理解数据依赖关系，，，，评估变更影响，，，并在数据质量问题发生时快速定位根源。。
搜索与发现：内置的强大搜索引擎使用户能够快速查找数据资产，，，，无论是基于元数据还是审计记录。。这大大提升了数据的可发现性和重用性。。
集成与自动化：Cloudera Navigator设计有API接口，，支持与其他企业系统（如数据目录、、、、BI工具、、、、数据治理平台）集成，，，实现数据管理任务的自动化。。。。
3.3 元数据中心架构设计
核心部分
1.数据字典：主要采用Metacat从各种数据源中进行数据抓取；
2.数据血缘：从hive，，spark等大数据组件中获取数据，，通过在平台中嵌入钩子（HOOK）的形式，，，，实时的获取HIVE等实时执行的SQL，，针对抓取到的数据进行数据血缘分析，，，之后将分析结果存储在图数据库中。。。常见的图数据库有NEo4j（不常用，，，没有ha机制）；
3.数据特征：等价于用户行为分析系统，，该模块需要单独针对客户业务行为展开，，没有特定的技术体系。。。
元数据中心统一对外提供了API访问接口，，，数据传输、、、、数据地图、、、数据服务等其他的子系统都可以通过API接口获取元数据，，，另外Ranger可以基于元数据中心提供的API接口，，获取标签对应的表，，然后根据标签更新表对应的权限，，，，实现基于标签的权限控制。。。。
3.4 元数据中心设计要点
元数据中心是数据中台的基石，，，，它提供了我们做数据治理的必须的数据支撑，，，，数据的指标、、、模型、、、质量、、、、成本、、、安全等的治理，，，，这些都离不开元数据中心的支撑。。
1.元数据中心设计上必须注意扩展性，，，，能够支持多个数据源，，，所以宜采用集成型的设计方式。。
2.数据血缘需要支持字段级别的血缘，，，否则会影响溯源的范围和准确性。。。
3.数据地图提供了一站式的数据发现服务，，解决了检索数据，，，理解数据的“找数据的需求"。。。
转载自公众号数据分析小兵