元数据

元数据(字典)是属于数据库本身的一些数据,包含数据库名、数据库字符集、表名、表的大小、表的记录行、表的字符集、表的字段、表的索引、表的描述、字段的类型、字段的精度、字段的描述等。所有信息均来源于information_schema等数据库...

管理元数据

指标配置 数据表名称 选择存储元数据数据表。注意 选择的数据表中需要必须包含表ID(如table_guid)和其他字段,否则创建元数据校验不通过。一个数据表只能创建一个元数据数据对象 数据对象即治理项,包括物理表、逻辑表和任务节点。...

元数据管理

元数据管理是构建数据湖重要一环,通过有效集中式的元数据管理,可以提升数据资产价值。您可以使用该功能管理元数据库和元数据表。页面概览创建元数据库登录数据湖管理控制台,选择元数据管理。单击添加元数据库。配置元数据库参数。输入...

元数据抽取

在业务运行中,经常会沉淀到大量数据数据湖中这部分数据可能是没有像数据仓库一样经过严格的数据管理流程或沉淀规范明确的元数据信息。元数据抽取可以分析数据湖中特定格式的数据,并自动生成元数据信息,通过周期性或手动执行,实现数据...

元数据配置

在项目工作台左边的功能菜单中选择数据管理-元数据配置,帮助企业信息系统管理人员可以根据本企业具体情况对主数据进行扩展。查看元数据 选择元数据管理以后,将列出所有定义的元数据,包括默认提供的常用主数据元数据,单击“查看”操作。...

元数据迁移

元数据迁移提供可视化的元数据迁移能力,可以帮您快速的将Hive Metastore的元数据迁移到数据湖构建(DLF)中。前提条件支持Hive版本:2.3.x 版本。支持元数据库类型:MySQL。创建元数据迁移任务创建迁移任务打开数据湖构建控制台。选择左侧...

元数据管理

数字工厂会根据入驻时选择所在的行业提供初始化的元数据,一般包括常用的人员、物料组、物料类型、物料、设备类型、设备型号和生产设备等数据,这些数据是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据,并且存在于...

创建元数据

在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前,需要先创建对应数据源中数据表的元数据,以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...

元数据定义

可以通过接口定义本应用需要的元数据,在调用该接口时候需要获得用户的元数据管理。创建元数据 定义新的元数据,创建元数据的接口说明,...创建新的属性 删除元数据 元数据中如果没有主数据,可以通过API删除元数据定义。删除元数据的接口说明

元数据发现

本文介绍如何通过向导创建OSS元数据发现任务,自动发现与云原生数据仓库AnalyticDB MySQL版湖仓版(3.0)集群相同地域下OSS的Bucket和数据文件。背景信息 企业的业务服务所产生的一些标准化表单、日志等数据文件,会被周期性地上传到OSS。...

查看元数据

本文为您介绍如何通过EMR StarRocks Manager查看元数据。前提条件 已创建StarRocks实例,详情请参见创建实例。操作步骤 进入StarRocks Manager页面。登录EMR Serverless控制台。在顶部菜单栏处,根据实际情况选择地域。重要 创建的集群将会...

同步元数据

同步数据源端的元数据,跟踪元数据最近更新时间,并支持一键同步Meta信息。本文介绍如何在数据同步中同步数据源的数据对象。前提条件已准备好相应的数据源,具体操作,请参见同步工作组内数据源或新建数据源。操作步骤在页面左上角,单击...

元数据导出

本文为您介绍DumpMeta接口的语法及示例,用于根据名称新建图像搜索元数据导出任务。使用说明 本接口用于向图像搜索实例中提交信息导出任务。QPS限制 提交操作默认的并发量为1,也就是每秒钟最多处理1个请求。说明 当上一个信息导出任务...

指定元数据id或者元数据名称删除元数据

指定元数据id或者元数据名称删除元数据 路径/industry/metadata/delete 版本号 1.0.1 协议 HTTPS 请求方法 POST 是否需要用户身份鉴权 否 超时时间 5000 请求参数 名称 类型 是否必选 示例值 描述 corpId String 否 企业标识,每个企业拥有...

数据元数据

背景信息阿里云数据湖构建是一款全托管的快速帮助用户构建云上数据湖的服务,产品为云原生数据湖提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力,详细信息请参见数据湖构建产品简介。...

查看实例元数据

请将其中的[metadata]替换为具体的实例元数据项,更多信息,请参见实例元数据项。访问endpoint时支持普通模式和加固模式,对比如下表所示。对比项 普通模式 加固模式 交互方式 请求/响应 会话 安全校验 同VPC内源IP地址校验 基于token鉴权 ...

Hive统一元数据

EMR-2.4.0之前版本,所有集群采用的是集群本地的MySQL数据库作为Hive元数据库;EMR-2.4.0及后续版本,E-MapReduce(简称EMR)支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接,所以集群必须要有公网IP,同时请...

Hive元数据说明

DLF统一元数据 元数据存储在阿里云数据湖构建(Data Lake Formation,简称DLF)中。数据湖构建具有高可用、免运维和高性能等优点,兼容Hive Metastore,无缝对接EMR上开源计算引擎,并支持元数据多版本管理和Data Profile功能。另外,DLF还...

采集OTS元数据

采集元数据是用于把表结构及血缘关系采集到数据地图中,清楚的为您展示表的内部结构及与表相关的关联关系。本文为您介绍如何新建采集器,并采集OTS元数据至DataWorks。采集完成后,您可以在数据地图查看数据。背景信息 全量采集元数据后,...

DLF统一元数据

阿里云数据湖构建是一款全托管的快速帮助用户构建云上数据湖的服务,产品为云原生数据湖提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力,详细信息请参见数据湖构建产品简介。您可以快速完成云...

数据元数据管理

2.12及之后版本,在创建集群选择元数据类型时支持数据元数据作为Hive数据库。数据元数据是服务化高可用并且可扩展的元数据库,您无需额外购买独立的元数据库,就可以实现多个引擎计算,例如同时使用Databricks 数据洞察和E-MapReduce。...

采集OSS元数据

本文为您介绍如何新建采集器,采集OSS元数据至DataWorks。采集完成后,您可以在数据地图查看数据。背景信息 全量采集元数据后,系统会开启自动增量采集,自动同步表中新增的元数据。使用限制 目前该元数据采集处于邀测阶段。操作步骤 登录...

元数据访问控制

数据管理DMS新推出的元数据访问控制功能,是指在DMS中对数据库、实例的查看与访问权限进行控制的功能。本文将介绍如何在DMS中开启元数据访问控制功能。前提条件 目标实例的管控模式为安全协同模式,更多信息,请参见管控模式。背景信息 DMS...

采集Hologres元数据

根据不同的执行周期,生成不同的执行计划,在相应执行计划的时间内,对目标数据源进行元数据采集。具体如下: 按需采集:根据实际业务需求,在业务需要时才会采集Hologres元数据。月采集:即在每月的特定几天,在特定时间点自动采集一次...

采集MySQL元数据

本文为您介绍如何新建采集器,以采集MySQL元数据至DataWorks。采集完成后,您可以在数据地图查看数据。背景信息 全量采集元数据后,...采集MySQL元数据成功后,您可以在全部数据> MySQL页面查看已采集的表。单击表名,即可查看该表的详情。

采集Oracle元数据

本文为您介绍如何新建采集器,以采集Oracle元数据至DataWorks。采集完成后,您可以在数据地图查看数据。背景信息 全量采集元数据后,系统会开启自动增量采集,自动同步表中新增的元数据。操作步骤 登录DataWorks控制台后,进入数据地图页面...

Kafka元数据管理

本文为您介绍Kafka元数据的基本操作。例如,添加Topic、删除Topic和查看Topic详情等操作。添加Topic 进入Kafka数据管理页。登录阿里云E-MapReduce控制台。在顶部菜单栏处,根据实际情况选择地域和资源组。单击上方的元数据管理页签。在左侧...

ECS实例元数据概述

实例元数据metadata)包含了ECS实例在阿里云系统中的信息,您可以在运行中的实例内方便地查看实例元数据,并基于实例元数据配置或管理实例。实例元数据类型 实例元数据的类型如下表所示。关于具体的实例元数据项及其含义,请参见实例...

采集PostgreSQL元数据

本文为您介绍如何新建采集器,以采集PostgreSQL元数据至DataWorks。采集完成后,您可以在数据地图查看数据。背景信息 全量采集元数据后,系统会开启自动增量采集,自动同步表中新增的元数据。操作步骤 进入数据发现页面。在左侧导航栏,...

EMR元数据迁移公告

本文为您介绍迁移E-MapReduce(简称EMR)元数据数据元数据DLF(Data Lake Formation)中的原因及迁移流程。迁移原因 2020年阿里云EMR推出全新的数据湖构建和统一元数据服务,为EMR用户提供了更好的统一元数据服务方案。阿里云EMR团队...

建立元数据索引

创建数据在集后,您可以为存储在对象存储(OSS)、相册与网盘服务(PDS)等产品中的文件建立元数据索引。本文介绍如何建立元数据索引。前提条件 已创建数据集。具体操作,请参见创建数据集。操作步骤 您可以选择自动为OSS Bucket中所有文件...

收集和查看元数据

本文为您介绍如何在数据地图模块开启元数据收集功能,并查看数据表信息。前提条件 开始本实验前,请首先完成加工数据中的操作。背景信息 元数据数据的描述数据,可以为数据说明其属性(名称、大小、数据类型等),或结构(字段、类型、...

文件元数据离线分析

EMR-3.30.0及后续版本的Block模式,支持dump整个namespace的元数据信息至OSS中,并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中,整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...

文件元数据离线分析

EMR-3.30.0及后续版本的Block模式,支持dump整个namespace的元数据信息至OSS中,并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中,整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...

文件元数据离线分析

EMR-3.30.0及后续版本的Block模式,支持dump整个namespace的元数据信息至OSS中,并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中,整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...

文件元数据离线分析

EMR-3.30.0及后续版本的Block模式,支持dump整个namespace的元数据信息至OSS中,并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中,整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...

文件元数据离线分析

EMR-3.30.0及后续版本的Block模式,支持dump整个namespace的元数据信息至OSS中,并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中,整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...

文件元数据离线分析

EMR-3.30.0及后续版本的Block模式,支持dump整个namespace的元数据信息至OSS中,并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中,整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...

文件元数据离线分析

EMR-3.30.0及后续版本的Block模式,支持dump整个namespace的元数据信息至OSS中,并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中,整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...

文件元数据离线分析

EMR-3.30.0及后续版本的Block模式,支持dump整个namespace的元数据信息至OSS中,并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中,整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
共有85条 < 1 2 3 4 ... 85 >
跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用