元数据管理
选择元数据表中数据存储的位置。选择元数据表的存储格式。指定元数据表的分隔符。手动定义元数据表的列，指定列编号、列名称、是否是分区列等信息。删除元数据库 1.进入元数据管理-元数据库页面。2.找到想要删除的元数据库，点击右侧的删除...
快速入门
数据湖构建（Data Lake Formation，DLF）产品主要使用流程如下。...创建数据源 创建数据湖的入湖来源，当前支持阿里云RDS MySQL...创建数据湖的元数据 添加元数据库 创建元数据表，指定表中数据的存储位置和存储格式 详细操作请参见 元数据管理。
创建Hive数据源
通过创建Hive数据源能够实现Dataphin读取Hive的业务数据或向Hive写入数据。本文为您介绍如何创建Hive数据源。背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化...
Hive数据源
通过Hive Catalog，您可以直接查询Hive中的数据。本文为您介绍如何在E-MapReduce的StarRocks集群上创建和查看Hive Catalog。前提条件 已创建包含Hive服务的集群，例如DataLake或Custom集群，详情请见 创建集群。已创建包含StarRocks服务的...
Hive数据按行过滤
Ranger支持对Hive数据按行进行过滤（Row Level Filter），即可以对Select返回的结果按行进行过滤，只显示满足指定条件的行。本文介绍如何将Hive数据按行进行过滤。前提条件 已创建集群，并选择了Ranger服务，详情请参见 创建集群。已创建按...
Hive数据脱敏
Ranger支持对Hive数据的脱敏处理（Data Masking），即可以对Select的返回结果脱敏，以屏蔽敏感信息。背景信息 该功能只针对HiveServer2的场景（例如，Beeline、JDBC和Hue等途径执行的Select语句）。操作步骤 说明 本文Ranger截图以2.1.0...
JindoFS实战演示
如何将Hive数据按照分区归档到OSS 如何将Hive数据按照分区归档到OSS 2021-05-18 传统集群架构存在很多问题，例如存储量与计算量无法一直匹配、存储无法水平扩展、存储与计算竞争硬盘资源等。为了解决这些问题，您可以将HDFS中的热数据保留...
数据集成服务
具体数据源配置如下：源数据源：Kafka数据源 目标数据源：Tablestore数据源 同步HBase数据到表格存储 HBase数据库中数据只支持迁移到表格存储的数据表中。迁移过程中会使用到HBase的Reader脚本配置和表格存储的Writer脚本配置。具体数据源...
冷热分层存储
并不是所有OSS-HDFS中存储的数据都需要频繁访问，但基于数据合规或者存档等原因，部分数据仍然需要继续保存。针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，对于较少访问的数据以低频、...
通过Spark SQL读Lindorm数据
访问Lindorm中的Hive数据 获取 HDFS客户端 的 hdfs-site 配置信息。说明 您可以在 Lindorm管理控制台 的 数据库连接 页面，单击 文件引擎 页签中 一键生成配置项，获取 hdfs-site 配置信息。登录 云原生数据仓库AnalyticDB MySQL控制台，在...
Catalog概述
跨Catalog查询数据 如果想在一个Catalog中查询其他Catalog中数据，可通过 catalog_name.db_name 或 catalog_name.db_name.table_name 的格式来引用目标数据。例如：在 default_catalog.olap_db 下查询 hive_catalog 中的 hive_table。...
生命周期管理概述
工作流程 文件系统中的冷数据转储、访问和取回的流程如下：用户根据文件系统中数据的使用情况创建生命周期管理策略。更多信息，请参见 设置生命周期策略。生命周期管理模块根据生命周期管理策略定期检查指定目录是否包含冷数据，并将冷数据...
方案设计
本章节主要为您介绍基于表格存储的海量气象格点数据解决方案的模型及方案设计。标准化格点数据模型 一个规整的五维网格数据为一个网格的数据集（GridDataSet），按照维度顺序五维分别为：维度 说明 variable 变量，例如各种物理量 time ...
Insert Into
创建Hive Catalog，即可通过联邦查询访问Hive中的数据，示例如下。CREATE CATALOG test_catalog comment 'hive catalog' PROPERTIES('type'='hms','hive.metastore.uris'='thrift:/127.0.0.1:7004','dfs.nameservices'='HANN','dfs.ha....
更新分析存储的数据生命周期
当需要清理分析存储中的历史数据或者希望延长数据保存时间时，您可以使用UpdateTimeseriesAnalyticalStore接口更新时序分析存储的数据生命周期TTL配置。更新分析存储的TTL后，表格存储会自动异步清理分析存储中超过TTL的数据。前提条件 已...
更新分析存储的数据生命周期
当需要清理分析存储中的历史数据或者希望延长数据保存时间时，您可以使用UpdateTimeseriesAnalyticalStore接口更新时序分析存储的数据生命周期TTL配置。更新分析存储的TTL后，表格存储会自动异步清理分析存储中超过TTL的数据。前提条件 已...
对象存储优化
对象存储OSS提供存储管理功能，帮助您优化存储性能和成本。...OSS还支持对低频访问和归档存储的数据进行检索，您无需执行数据取回操作即可找到分析所需的数据。通过OSS SelectObject，您可以降低成本，获取更多数据洞察。
生命周期管理FAQ
删除策略之前，如果数据已经转储到低频存储或归档存储，数据仍会继续保存在低频存储或归档存储中，并将按照低频存储或归档存储的费用收取存储费用。如果您是想将存储至低频存储或归档存储中的数据取回通用型NAS存储空间，请参见 创建数据...
数据归档至专属存储
本文为您介绍如何将数据归档至专属存储中（存储在 DMS）、将专属存储的数据转存至OSS，以及删除归档至专属存储的数据等操作。前提条件 源数据库类型为：MySQL：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。说明 MySQL数据库账号...
通过控制台使用分析存储
操作 说明 更新分析存储的生命周期 当需要清理分析存储中的历史数据或者希望延长数据保存时间时，您可以更新分析存储的生命周期。在 实例管理 页面的 实例详情 页签，单击 时序表列表 页签。在 时序表列表 页签，单击时序表名。在 基本详情...
冷热分离
云数据库HBase增强版支持冷热分离功能，可以将冷热数据存储在不同的介质中，有效提升热数据的查询效率，同时降低数据存储成本。背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这...
Catalog概述
基本概念 内部数据：保存在StarRocks中的数据。外部数据：保存在外部数据源（例如，Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog StarRocks 2.3及以上版本支持Catalog功能，方便您轻松访问并查询存储在各类外部源的数据。...
按时间戳冷热分离
本文介绍如何按时间戳划分冷热数据。...此时系统尚未触发数据归档至冷存储，因此大量的冷数据滞留于热存储中，数据量的增大导致了查询效率的降低。需要对表执行 major compaction 操作来解决这一问题。具体语法，请参见 ALTER TABLE。
计费常见问题
云数据库RDS、云原生数据库PolarDB、云数据库MongoDB、云数据库Redis、云原生内存数据库Tair、云原生数据仓库AnalyticDB PostgreSQL版产品的备份恢复功能均由DBS提供，您可确认下该备份计费项是否因为您使用了上述产品的备份恢复服务所产生...
数据备份概述
通过为实例中的表配置备份计划并执行，您可以备份 表格存储 中的重要数据到 云备份 中，如果重要数据被误删除或者恶意篡改，您可以将备份数据快速恢复到 表格存储 中。注意事项 当前支持使用数据备份功能的地域有华东1（杭州）、华东2...
设置生命周期策略
归档存储：适用于数据长期保存的业务场景，例如数据审计、数据归档等。取值为：14、30、60、90、180。当指定目录或文件在预置天数内未被访问时，文件将会转储至低频存储或归档存储。说明 两种存储类型可以同时选择，也可以选择任意一个。若...
配置连接器
连接器 功能 对应文档 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。Iceberg...
配置连接器
连接器 功能 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。mysql 使用MySQL连接器可以在外部MySQL实例中查询和创建表。iceberg 使用Iceberg连接器可以查询Iceberg...
配置连接器
连接器 功能 对应文档 Hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 Kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 MySQL 使用MySQL连接器可以在外部MySQL实例中查询和创建表。MySQL连接...
CREATE DATABASE
数据库中分表的存储位置与该库的存储位置保持一致，以实现分表上的数据隔离。数据库创建成功后，您可以通过以下语句查看数据库的存储位置信息。SHOW CREATE DATABASE db1 MODE=drds;返回结果如下所示：+-+-+|DATABASE|CREATE DATABASE|+-+-...
数据源Hive
本文为您介绍如何创建数据源Hive。...将Hive数据库中的数据表或自建的自定义SQL添加到Quick BI，请参见 创建并管理数据集。添加可视化图表并分析数据，请参见 新建仪表板 和 可视化图表概述。钻取并深度分析数据，请参见 钻取设置与展示。
配置Hive输出组件
根据Hive中数据存储格式不同，支持选择压缩格式不同：数据存储格式为 orc：支持选择的压缩格式包括 zlib、snappy。数据存储格式为 parquet：支持选择的压缩格式包括 snappy、gzip。数据存储格式为 textfile：支持选择的压缩格式包括 gzip、...
开启智能存储分层
重要 存储保存时间配置存在相应限制，具体信息，请参见 数据存储生命周期管理。开启智能存储分层 登录 日志服务控制台。在Project列表区域，单击目标Project。在 日志存储>日志库 页签中，单击目标Logstore对应的 图标，然后单击 修改。在 ...
冷数据分层存储计费规则
当您开启了该功能并执行了冷数据归档操作后，将按照OSS中冷数据存储的容量收取一定费用。具体计费规则如下：中国内地地域：0.00021元/GB/小时。中国香港及海外地域：0.000294元/GB/小时。您可以 购买存储包，来抵扣OSS中冷数据的存储容量，...
Hive数据源
Hive数据源为您提供读取和写入Hive双向通道的功能，本文为您介绍DataWorks的Hive数据同步的能力支持情况。背景信息 Hive是基于Hadoop的数据仓库工具，用于解决海量结构化日志的数据统计。Hive可以将结构化的数据文件映射为一张表，并提供...
冷数据分层存储计费规则
当您开启了该功能并执行了冷数据归档操作后，PolarDB PostgreSQL版（兼容Oracle）将按照OSS中冷数据存储的容量收取一定费用。具体计费规则如下：中国内地地域：0.00021元/GB/小时。中国香港及海外地域：0.000294元/GB/小时。您可以 购买...
迁移服务（MMA）
数据库黑名单 不需要迁移的Hive数据库，多个值之间以英⽂逗号分隔。Metastore访问并发量 访问Hive MetaStore的并发量，⽤于提⾼获取Hive元数据的速度。表黑名单 不需要迁移的Hive数据库表。单个表的格式为 dbname.tablename,多个表之间以英...
冷数据存储计费规则（可选）
当您开启了该功能并执行了冷数据归档操作后，PolarDB 企业版将按照OSS中冷数据存储的容量收取一定费用。具体计费规则如下：中国内地地域：0.00021元/GB/小时。中国香港及海外地域：0.000294元/GB/小时。您可以 购买存储包，来抵扣OSS中冷...
概述
表格存储是阿里云自研的多模型结构化数据存储，提供海量结构化数据存储且可以无限水平扩展。同时，表格存储提供强大查询功能，还支持在线、离线数据分析。此外，表格存储提供全托管服务，使用表格存储您无需担心软硬件预置、配置、故障、...
冷存储介绍
冷热分离功能可以自动将表中的热数据存储至读写速度更快的热存储中，将不常访问的历史数据存储至容量型云存储中，从而降低存储成本。如果您在业务上有冷热分离的需求，请参见 冷热分离介绍。开通容量型云存储 如何开通容量型云存储，请参见...
- 产品推荐
- 这些文档可能帮助您