计费模式
元数据对象的存储量 元数据对象是指数据湖元数据中存储的数据库、表、分区和索引。计费规则，每月前100万个存储对象免费，超过100万后，超过100万的部分，每10万个对象收费5元/月，不足10万的按10万个收费。计费周期与出账周期，按月统计...
集群高可用
元数据库 Cloudera Manager、Hive和Hue等组件都需要使用数据库存储他们的元数据信息，目前元数据库部署在Utility节点和Master-1节点上，采用主备的架构，Utility节点上的元数据库作为Master，Master-1节点上的元数据库作为Slave去复制...
元数据仓库共享模型概述
元数据共享模型存储方式及产出时效说明 元数据共享模型是一系列元数据相关的物理表，基于Dataphin的系统元数据和相应计算引擎的元数据加工汇总而成，存在Dataphin元仓租户下的元仓项目中，产出时效为T+1。背景信息 什么是元数据仓库？...
数据湖元数据管理
Databricks 数据洞察DBR 7.3,Spark 3.0.1,Scala 2.12及之后版本，在创建集群选择元数据类型时支持数据湖元数据作为Hive数据库。数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，...
Hive统一元数据
EMR-2.4.0之前版本，所有集群采用的是集群本地的MySQL数据库作为Hive元数据库；EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请...
使用星环TDH作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
元数据抽取
目标数据库 抽取获取的元数据存储的元数据库位置。目标数据表前缀 通过元数据抽取生成跟文件一致的表名，输入目标元数据表前缀后，会在表名前添加前缀。抽取任务发现表字段更新时 当元数据抽取任务获取的表与现有表字段发现不一致时，采取...
DLF统一元数据
说明 如果需要迁移数据库的元数据信息，请参见 EMR元数据迁移公告。进入Hive服务页面。登录EMR on ECS控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。在 集群管理 页面，单击目标集群所在行的 集群服务。单击Hive服务区域的 配置...
事件告警
共享使用的缓存盘由数据空间和元数据空间组成，默认20%的缓存盘空间会用来存储元数据。当可用元数据空间不足3 GB或者不足所有元数据空间的20%时会触发此告警。处理方式 建议扩展共享对应的缓存盘来扩大元数据空间，避免因元数据空间不足而...
使用Hadoop作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
元数据采集的数据源有白名单访问控制时需要配置的白...
为保证您能正常使用数据地图的元数据采集和类目管理功能，您需要提前配置好白名单，将使用的DataWorks所在地域的IP网段添加至目标项目或数据库中，并为所使用的账号配置类目管理权限。本文为您介绍如何配置白名单及类目管理权限。背景信息 ...
使用AnalyticDB for PostgreSQL作为元仓计算引擎进行...
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
使用StarRocks作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
数据权限概述
库（Database）：数据湖元数据中管理的库 表（Table）：数据湖元数据中管理的表 列（Column）：数据湖元数据中管理的列 访问资源的方式（Access）访问资源的方式与资源类型有关，不同资源类型支持的访问方式各不相同。如库支持CreateTable...
数据库管理
数据库（Database）是表、索引、视图、存储过程、操作符的集合。您可以在一个 AnalyticDB PostgreSQL 实例中创建多个数据库，但是客户端程序一次只能连接上并且访问一个数据库，无法跨数据库进行查询。创建数据库 使用 CREATE DATABASE ...
使用MaxCompute作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
FineBI
检查外接MySQL数据库是否使用utf8（– UTF-8 Unicode）编码为字符集排列规则，或新建一个utf8编码的数据库 create database finedb character set utf8。配置外接数据库为AnalyticDB，连接失败 处理方法：外界数据库需要配置本地MySQL，而...
方案背景
状态实时监测：实时监测车辆状态的变化，例如保存异常行驶日志以供后续调查，需要支持实时探测数据的变化，并能够对更新后的数据进行实时计算。说明 车辆元数据包含了车辆的固有属性（例如车辆识别代码、车辆外壳颜色、发动机型号等）和...
API概览
本产品（数据湖构建/2020-...ListDatabases 获取元数据库列表 获取数据湖元数据库列表，分页查询，可以根据数据库名称匹配。表 表 CreateTable 新增元数据表 新增数据湖的元数据表。DeleteTable 删除元数据表 根据名称删除数据湖的元数据表。...
写入时序数据
如果表中存在大量的短时间线（即一条时间线下仅有一条或几条时序数据），则您可能会看到时序数据的元数据存储量偏大，因为目前表格存储会为每条时间线的元数据构建索引，按照每条时间线4 KB的大小计算元数据的总存储大小。如果要删除时间线...
常用SQL
针对源端为数据库的元数据操作 MSCK REPAIR DATABASE：自动关联源数据库的所有表。CREATE TABLE LIKE MAPPING：自动根据源端的表的结构推断表结构。常见的查询DDL SHOW SCHEMAS：查询用户所有的SCHEMA/DATABASE。SHOW TABLES：查询用户当前...
元数据
采集范围与采集方式 采集范围与采集方式 安全协同管控模式 稳定变更与自由操作的管控模式 元数据采集范围 采集并存储数据库实例的所有元数据，元数据详情信息请参见 采集的元数据列表。仅会采集并存储库级别信息，其余元数据将在登录后进行...
元数据管理
在DLF页面删除数据库后，并不会删除OSS存储的数据，如需删除数据请从E-MapReduce/MaxCompute侧执行Drop Database操作。删除元数据表 1.进入元数据管理-元数据表页面。2.找到想要删除的元数据表，点击右侧的删除按钮，点击确认窗口中的...
对象存储OSS
OSS用于存储实际的数据，而搜索引擎或数据库用于存储元数据，如文件名称、大小、关键词等。数据库中存储的元数据很容易被索引和查询。OSS和搜索引擎或数据库结合使用可用于精确定位和检索OSS中的文件。为了提升远距离大文件的上传下载体验...
物联网存储介绍
物联网场景中不同类型数据的存储核心需求如下：设备元数据：主要数据为设备的标识、属性和状态数据，具有高频更新、查询能力要求高等特点，可用于设备管理、设备圈选、设备状态查询，需要支持高并发低延迟的数据更新、多维度检索、地理空间...
Napatech案例
业务挑战 随着网络数据流量的爆增以及业务可用性要求的不断提升，Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力...
在DMS中自定义屏蔽系统库
背景信息 在实例录入 DMS 后，系统将自动采集实例中数据库的元数据（字典）信息。为保护系统库，同时减少系统库对您的干扰，可自定义屏蔽 DMS 部分系统库（如MySQL的information_schema库）或高敏感业务的数据库。屏蔽后，DMS 将不会采集...
DMS默认屏蔽的实例系统库
背景信息 数据管理DMS中录入实例后，系统将自动采集实例中数据库的元数据（字典）信息。为了保护系统库，同时减少系统库对用户的干扰，如果实例的管控模式为安全协同模式，系统在采集元数据信息时会自动屏蔽实例的系统库。元数据的更多信息...
CREATE DATABASE
CREATE DATABASE语句用于创建数据库，并可以指定数据库的默认属性（如数据库默认字符集，校验规则等）。语法 create_database_stmt:CREATE {DATABASE|SCHEMA}[IF NOT EXISTS]database_name[database_option_list]database_option_list:...
基本概念
本节介绍Raster SQL的基本概念。名称 描述 raster object 简称raster，栅格对象，是将空间分割成有规律的网格，每一个网格称为一个单元，并在各单元...metadata 栅格的存储元数据（空间范围、投影类型、像素类型等），不包含遥感平台元数据。
基本概念
本节介绍Raster SQL的基本概念。名称 描述 raster object 简称raster，栅格对象，是将空间分割成有规律的网格，每一个网格称为一个单元，并在各单元...metadata 栅格的存储元数据（空间范围、投影类型、像素类型等），不包含遥感平台元数据。
External Catalog
查询表数据-切换数据库 use hive.defalut;查询数据 select*from customer limit 10;导入数据 通过 INSERT INTO 语句可以将hive表数据直接插入到StarRocks表中。示例如下所示。INSERT INTO customer SELECT*FROM default_catalog.test....
通过PrestoDB使用Tablestore
存储元数据的表占用的数据存储量与创建实例时的存储规格相关。相关文档 您可以使用MaxCompute、Spark、函数计算、Flink等其他计算引擎查询与分析Tablestore表中数据。更多信息，请参见 计算与分析概述。您也可以使用表格存储的SQL查询和...
基本概念
本章节将为您介绍Raster SQL的基本概念。名称 描述 raster object 简称raster，栅格对象，是将空间分割成有规律的网格，每一个网格称为一个像元，并...metadata 栅格的存储元数据（空间范围、投影类型、像素类型等），不包含遥感平台元数据。
表格存储
元数据 用户存储海量的文档、媒体文件等数据的同时，对文件元数据的存储和分析不可或缺。此外，电商的订单、银行流水、运营商话费账单也需要存储及分析大量的元数据。表格存储可以帮助您实现高效的元数据管理。消息数据 表格存储自研的...
Dataphin管道任务将数据同步到Oracle数据库选择表之后...
问题描述 Dataphin管道任务将数据同步到Oracle数据库选择表之后报错“获取元数据失败SQLTimeoutException：ORA-01013:user requested cancel of current operation”。问题原因 根据报错“ORA-01013:user requested cancel of current ...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
- 产品推荐
- 这些文档可能帮助您