数据加工过程卡点校验
本文为您介绍在线或离线业务系统的数据在生成过程中进行的卡点校验。在线系统卡点校验 在线业务系统产生的数据是数据仓库的重要数据来源。在线业务系统复杂多变，每次变更都会产生数据的变化。因此，数据仓库需要适应多变的业务发展，及时...
冷热分离
在查询过程中，如果用户明确知道需要查询的数据在热数据里（写入时间少于COLD_BOUNDARY设置的值），可以在Get或者Scan上设置 HOT_ONLY 的Hint来告诉服务器只查询热区数据。或者在Get/Scan上设置TimeRange来限定查询数据的时间，系统会根据...
混合负载HTAP
PolarDB-X 是一款支持HTAP（Hybrid Transaction/Analytical Processing）的数据库，在支持高并发、事务性请求的同时，也对分析型的复杂查询提供了良好的支持。说明 分析型查询指的是涉及数据量较大、计算比较复杂的查询，例如对一定时间...
技术原理
扩容迁移 随着业务的增长，数据量越来越大，往往需要添加更多的数据节点以承载更多的数据。当新的数据节点加入实例时，PolarDB-X将自动触发扩容任务，将数据进行再平衡（Rebalance）。以下图为例，orders表原本分布在4个数据节点上。用户...
应用场景
前端的监控系统和大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测，故障发现以及业务趋势分析。...
时序引擎应用开发简介
在数据写入时按照设置的规则将原始数据降低精度存储，降采样查询时，通过查询低精度数据来减少查询的数据量，从而降低查询延迟。使用OpenTSDB或时间序列数据库TSDB的应用开发步骤 Lindorm时序引擎兼容相关接口，对于已有使用OpenTSDB或者...
查询并下载数据
通过即席查询您可以根据当前的业务情况自定义并执行查询语句和下载查询的数据。例如，当完成计算任务开发后，您可以通过即席查询验证计算任务是否符合预期。本文为您介绍如何新建即席查询并下载结果数据。背景信息 即席查询任务使用您当前...
查询并下载数据
通过即席查询您可以根据当前的业务情况自定义并执行查询语句和下载查询的数据。例如，当完成计算任务开发后，您可以通过即席查询验证计算任务是否符合预期。本文为您介绍如何新建即席查询并下载结果数据。前提条件 若您需下载即席查询的...
冷数据归档
本文介绍时序引擎的冷数据归档功能的使用方法。功能概要 在时序数据库持续写入的场景下，早先写入的时序数据会随着时间推移，查询频度逐渐降低。...但需注意的是，如果被查询的数据已经归档到冷存储介质上，则查询的延迟将会增加。
数据服务
背景信息 数据服务提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供覆盖各个加工阶段统一体验的、便捷的数据查询转服务、服务管理、服务运维能力；面向数据资产管理者提供服务的统计分析、服务用量统计分析，实现数据中台...
表数据格式
此特性也有助于提升数据查询效率，如果过滤条件为Bucket数据列，也可有效地进行Bucket裁剪，减少查询的数据量。并且如果GroupBY或者Join的Key列和Bucket数据列相同，则可直接进行Local Join或者GroupBy操作，减少Shuffle，节省计算资源和...
API概览
DescribeTables 查询数据资产表的数据 查询数据安全中心连接授权的MaxCompute、RDS等数据资产的表数据。DescribeColumns 查询数据资产表中列的数据 调用DescribeColumns接口查询数据安全中心连接授权的MaxCompute、RDS等数据资产表中列的...
API概览
ListAutoSnapshotPolicyUnappliedDbfs 列出未设置自动快照策略的文件系统 查询您在某个地域下，所有已创建的符合查询条件的未设置自动快照策略的数据库文件系统。ListAutoSnapshotPolicyAppliedDbfs 列出该自动快照策略已设置的文件系统 ...
数据源管理
确认查询结果为所需后，单击 运行，即可将当前数据保存为当前SQL查询的结果。删除数据 选择任一数据，单击 图标下的 移除数据源，可直接删除当前数据。缩放至图层 选择任一数据，单击 图标下的 缩放至图层，可将当前数据展示的地图数据展示...
创建数据脱敏场景
通过DataWorks的数据开发DataStudio、数据地图查询的数据均会按照配置的脱敏规则进行脱敏。在 数据分析 通过 SQL查询 功能查询数据时，查询的敏感数据会按照配置的脱敏规则进行脱敏。说明 EMR引擎暂不支持使用数据开发展示脱敏，Hologres...
安装Agent
Agent程序是数据库审计系统提供的功能插件，您需要在用户终端、目标数据库服务器或连接数据库的应用服务器上安装Agent，用于将数据库访问流量转发到审计系统。本文介绍安装及卸载Agent的具体操作。安装位置 根据待审计的数据库类型，您需要...
数据可视化展现
在数据分析中使用数据源，需要先给数据源授权，您可以进入 安全中心>安全策略>数据查询与分析管控>可查询数据源 界面，找到需要查询的数据源，单击 操作 列的 授权，为您的账号授权，详情请参见 安全中心。创建 临时文件。方式一：首次进入...
数据查询
为了方便您获取HexCode编码字符，集群管理系统的数据查询页面提供了转换工具。在集群管理系统的左侧导航栏中，选择 数据查询>SQL执行器。在 namespace 下拉列表中选择命名空间，页面右侧会自动显示该命名空间中的表。获取HexCode编码字符...
行业趋势与背景
数据库系统是一切应用软件的数据处理及交换核心，是所有基础软件进行数据存储、查询、分析处理的中心。数据库系统运行性能是否高效稳定、接口语言是否通用，直接决定了上层应用能否给用户提供好的性能，同时直接影响开发人员效率。根据全球...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
查询数据代码说明
本文将为您介绍在Dataphin中使用代码方式查询数据时存在的限制和规则。使用限制 Dataphin最多返回10000条查询结果的记录。您可以在查询语句后增加 limit 返回条数，自定义返回记录的条数，例如 select*from ht5_out limit 20;即返回20条...
查询数据代码说明
本文将为您介绍在Dataphin中使用代码方式查询数据时存在的限制和规则。使用限制 Dataphin最多返回10000条查询结果的记录。您可以在查询语句后增加 limit 返回条数，自定义返回记录的条数，例如 select*from ht5_out limit 20;即返回20条...
访问控制权限概述
数据管理DMS提供了全方位细粒度的数据安全管理功能，支持对实例、数据库、表、数据列、数据行等进行权限管理，可按需给授权对象登录、查询、导出、变更等权限类型。权限类别说明 权限分类 权限类别 权限说明 实例是否开启安全托管 操作权限...
数据查询
为了方便您获取HexCode编码字符，集群管理系统的数据查询页面提供了转换工具。方法一 在集群管理系统的左侧导航栏中，选择 数据查询。在 namespace 下拉列表中选择命名空间，页面右侧会自动显示该命名空间中的表。打开 HexString 开关。在...
一键创建OSS数据仓库
系统默认的数据同步时间是00:30，您可以根据业务规律，将数据同步时间设置在业务低峰期，以免同步过程中可能对业务造成的影响。高级选项 自定义设置项，例如过滤字段等。完成上述参数配置后，单击 创建，创建OSS数据仓库。说明 数仓创建...
SSB性能测试说明
SSB基准测试是通过执行一系列规定的查询模式来评估数据仓库或OLAP系统的性能指标，包括查询响应时间、并发处理能力、数据加载和查询优化等。说明 本文的SSB的实现基于SSB的基准测试，并不能与已发布的SSB基准测试结果相比较。场景说明 本...
数据可视化展现
您可以联系管理在 安全中心 对要查询的数据源进行授权。在 安全中心>安全策略>可查询数据源 界面，找到 odps_first 数据源，为您操作账号授权。回到SQL查询临时文件编辑页面，在数据源选项中选择刚授权的数据源 odps_first。编写SQL命令 在...
无感集成（Zero-ETL）
为了解决这些问题，阿里云瑶池数据库提供了无感集成（Zero-ETL）功能，可以快速构建业务系统（OLTP）和数据仓库（OLAP）之间的数据同步链路，将业务系统（OLTP）的数据自动进行提取、转换清洗和加载到数据仓库（OLAP），从而一站式完成数据...
HBase Shell使用介绍
查询指定表的数据 scan 是一种访问HBase数据的方式，它非常的灵活，scan 操作可以用它来扫描全表，也可以用它查询固定范围。查询速度会比查询单条（使用 get）数据略慢一些，这里因为我们的demo数据库数据并不多，所以我们全部取出来。执行...
快照概述
数据库文件系统快照基于云盘快照，它是一种便捷高效的数据容灾手段，用于对文件系统的数据进行备份。什么是数据库文件系统快照 数据库文件系统快照是某一时间点文件系统状态的备份文件，文件系统部署在云盘上，因此文件系统快照服务实际上...
客户案例
提供标准、安全和高效的数据库多租户隔离环境及管理工具，满足全行多应用系统（如存贷汇核心系统）的管理与使用需求。优化结果 选择 OceanBase 三地五中心部署架构，实现了业务应用上杭州，上海异地多活的能力，极大的提升了全行的系统吞吐...
应用场景
批处理系统 很多行业的批处理系统中通常会有大量批处理操作，包含多张大表关联的复杂计算，并且涉及到大量的数据更新。批处理意味着每一次处理的数据量很大，而且有很多张大表要做关联，经常要做一些比较复杂的查询，并且更新量也比较大，...
TPC-DS数据
简介 TPC Benchmark TM DS（TPC-DS）是全球最知名的数据管理系统评测基准标准化组织TPC（事务性管理委员会）制定的标准规范，并由TPC管理测试结果的发布。MaxCompute通过TPC-DS官方工具生成了10GB、100GB、1TB、10TB四个规格的TPC-DS数据，...
如何对JSON类型进行高效分析
PolarDB MySQL版 本身是一个关系型数据库管理系统，其存储的数据通常是结构化数据，但也原生支持存储和查询半结构化数据，如XML和JSON格式数据。PolarDB IMCI也全面支持JSON数据类型及其列式函数，采用二进制JSON格式来存储半结构化数据，...
数仓分层
在本教程中，从交易数据系统的数据经过DataWorks数据集成，同步到数据仓库的ODS层。经过数据开发形成事实宽表后，再以商品、地域等为维度进行公共汇总。整体的数据流向如下图所示。其中，ODS层到DIM层的ETL（萃取（Extract）、转置...
数仓分层
在本教程中，从交易数据系统的数据经过DataWorks数据集成，同步到数据仓库的ODS层。经过数据开发形成事实宽表后，再以商品、地域等为维度进行公共汇总。整体的数据流向如下图所示。其中，ODS层到DIM层的ETL（萃取（Extract）、转置...
安装Agent
说明 如果您要审计的数据库所在ECS使用的是经典网络，您需要先通过ClassicLink功能实现经典网络的ECS与VPC中的数据库审计系统网络互通，然后在ECS服务器上安装Agent。连通经典网络中的ECS和数据库审计系统VPC的具体操作，请参见 审计经典...
数据域
数据域是联系较为紧密的数据主题的集合，通常是根据业务类别、数据来源、数据用途等多个维度，对企业的业务数据进行的区域划分，将同类型数据存放在一起，便于您快速查找需要的内容。不同使用目的数据，分类标准不同。例如，电商行业通常...
性能调优
通过DLA查询Tablestore数据时，可以在SQL中加入Hint对数据查询性能进行调优。DLA是分布式计算系统，系统对每个Tablestore表按照一定的规则进行分片（split），各个分片之间相互不重合，计算层并行执行这些分片，从而提高计算并行度。指定...
产品架构
StarRocks提供MySQL协议接口，支持标准的SQL语法，您可以通过MySQL客户端方便地查询和分析StarRocks中的数据。说明 该图片来源于社区StarRocks的 系统架构。FE FE是StarRocks的前端节点，负责管理元数据、管理客户端连接、进行查询规划、...
- 产品推荐
- 这些文档可能帮助您