数据存储目录结构说明
本章介绍文件引擎(LindormDFS)默认的数据存储目录结构。目录 说明/${实例ID}-global/${实例ID}_xxx 宽表引擎数据存储目录/solr 搜索引擎数据存储目录/tsdb 时序引擎数据存储目录 说明${实例ID}：lindorm实例ID。xxx：实例所在的区域，如...
持续的存储优化
维护一个规模适中且价格合理的存储架构是一个持续的过程。为了更有效地利用存储支出，您每个月都应该进行存储优化工作。您可以通过以下方式简化这项工作：建立用于优化存储和设置存储策略的持续机制。通过监控服务和账单密切监控存储成本。...
时序模型计量计费
时间线数据包括产生数据的时间和对应的数据值，是时序模型中数据存储与读写操作的主要计费部分。其中数据存储支持选择高性能存储或者容量型存储，读写操作按照容量型进行计量计费。时间线元数据也称为时间序列元数据，表示一条时间线的标识...
数据湖投递概述
应用场景 利用数据湖投递可以实现如下场景需求：冷热数据分层 数据湖投递结合 表格存储 的 数据生命周期 功能，可以快速实现OSS低成本存储全量数据，表格存储 提供热数据的低延迟查询和分析的需求。全量数据备份 数据湖投递可以自动将 表格...
概述
文件存储CPFS 文件存储CPFS（Cloud Paralleled File System）是一款并行文件系统，其数据存储在集群中的多个数据节点，多个客户端可以同时访问，满足大型高性能计算机集群的高IOPS、高吞吐、低时延的数据存储需求。文件存储HDFS版 文件存储...
概述
使用场景 数据架构变化 随着业务的变化，如果现有业务对数据库并发读写需求、扩展性和可用性需求较高，或需要复杂的检索，原有MySQL数据库的数据架构已经不能满足现在的业务需求，您可以选择将MySQL数据库中的数据迁移到表格存储中。...
操作流程
物理化逻辑表 通过物理化的方式，将 数据资源平台 中创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理。具体操作，请参见 物理化逻辑表。设置逻辑表质量规则 通过可视化方式设置质量...
操作流程
物理化逻辑表 通过物理化的方式，将 企业数据智能平台 中创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理。具体操作，请参见 物理化逻辑表。设置逻辑表质量规则 通过可视化方式设置...
如何实现一键转冷存
如果是索引，只会将该索引对应的数据转为OSS存储，执行效果与 polar_alter_relation_to_oss 相同。polar_alter_relation_to_oss_cascade 该函数将对象（表\索引）及其附属对象全部转为OSS存储。语法 void polar_alter_relation_to_oss_...
方案背景
表格存储（Tablestore）是阿里云自研的多模型结构化数据存储，可提供海量结构化数据的存储和查询分析服务。表格存储的分布式存储和强大的索引引擎能够支持PB级存储、千万TPS以及毫秒级延迟的服务能力。更多信息，请参见 什么是表格存储。...
概述
基于Tablestore Sink Connector，您可以将Apache Kafka中的数据批量导入到表格存储（Tablestore）的数据表或者时序表中。背景信息 Kafka是一个分布式消息队列系统，不同的数据系统可以通过Kafka Connect工具将数据流输入Kafka和从Kafka获取...
产品架构
数据库分层架构 在数据库分层架构中，使用 Tablestore 配合MySQL来完成应用系统的业务需求，利用MySQL的事务能力来处理对事务强需求的写操作与部分读操作，利用 Tablestore 的数据检索能力和大数据存储来实现数据存储、查询与分析。...
表
MaxCompute的表类似于传统关系型数据库中的表，可以存储结构化数据，并且使用SQL进行查询和分析。MaxCompute中不同类型计算任务的操作对象（输入、输出）都是表。您可以 创建表、删除表以及向表中导入数据。说明 DataWorks的数据开发模块...
数据总览
存储量 为当前租户本地域下，所有表的逻辑存储大小总和，包含调度任务的临时文件、删除表后尚未释放的存储空间。此数据为离线统计，有T+1的延迟。总API数 为当前租户本地域下，当前时间点，已发布至API网关的MaxCompute类型的API总数。存储...
定义敏感数据
全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于敏感数据，哪些数据属于普通数据，对于敏感数据，在库表结构中将数据类型定义为对应的敏感数据类型。以如下数据表为例：CREATE TABLE example(account integer,-账户号码，对应...
定义敏感数据
全新定义敏感数据 您需要根据业务场景特性，判断哪些数据属于敏感数据，哪些数据属于普通数据，对于敏感数据，在库表结构中将数据类型定义为对应的敏感数据类型。以如下数据表为例：CREATE TABLE example(account integer,-账户号码，对应...
配置蓝图交互
使用同样的方法对其他三个 按钮 节点、三个 定时器 逻辑节点和 延时弹窗 节点一一对应连线。最终连线样式如下图所示。最终通过连线，实现单击金蛋上方的按钮后，经过两秒钟的时间延迟后，弹窗显示对应金蛋内的奖品图片的交互功能。步骤四：...
配置蓝图交互
使用同样的方法对其他三个 按钮 节点、三个 定时器 逻辑节点和 延时弹窗 节点一一对应连线。最终连线样式如下图所示。最终通过连线，实现单击金蛋上方的按钮后，经过两秒钟的时间延迟后，弹窗显示对应金蛋内的奖品图片的交互功能。步骤四：...
功能特性
原子写 支持DIRECT IO的原子写，需按4K，8K，16K对齐-共享读写 一份数据可共享式多点挂载并进行读写，读写可线性扩展-存储加密 通过对数据库文件存储实施加密，可以确保数据库文件存储上的所有数据（包括静态存储和动态传输中的数据）都...
新建解决方案
选择按范围关联创建：根据选择的关联方式选中应用、服务、线上场景、单节点、指标或逻辑表等对应的数据。全量创建：默认选择所有资产项且无法更改，请核对该信息是否需加入到解决方案包中。自定义创建：手动依次选择需加入解决方案包的资产...
使用UDF处理数据
如果您在表格存储中的数据有着独特的结构，希望自定义开发逻辑来处理每一行数据，例如解析特定的JSON字符串，您可以使用用户自定义函数UDF（User Defined Function）来处理表格存储中的数据。操作步骤 在IntelliJ中安装MaxCompute-Java/...
通过控制台使用分析存储
分析存储的生命周期与时序表的数据生命周期互不影响。取值必须为-1（数据永不过期）或者必须大于等于2592000秒（即30天）的int32正整数。创建的时序表会显示在 时序表列表 页签中。创建时序表后，您可以通过SDK批量写入数据到时序表。写入...
查询非结构化数据
Outputer:自定义输出数据Outputer，用来实现自定义输出数据的逻辑，即如何写出非结构化数据。创建Extractor成功后，在编辑界面开发Java程序。代码框中模板已自动填充框架代码，只需要自行编写需要的逻辑代码即可。通过单元测试调试...
通用数据开发
数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的海量数据...
图扑案例
业务要求与挑战 5G、云计算、边缘计算等智能、互联技术的快速发展，推动了工业物联网IIoT场景下各种软件、硬件传感器数量激增，与之对应的采集数据量和数据类型快速增长，导致数据存储、检索难度更大。现有解决方案中，通常依赖自建单...
维度逻辑表概述
Dataphin遵循Ralph Kimball的维度建模理论，创建维度，即从顶层规范业务中实体（或称主数据）的存在性及唯一性。维度及维度组合，也是派生指标的统计粒度。例如，在分析交易过程时，可以通过买家、卖家、商品和时间等维度描述交易发生的...
维度逻辑表概述
Dataphin遵循Ralph Kimball的维度建模理论，创建维度，即从顶层规范业务中实体（或称主数据）的存在性及唯一性。维度及维度组合，也是派生指标的统计粒度。例如，在分析交易过程时，可以通过买家、卖家、商品和时间等维度描述交易发生的...
逻辑单元
逻辑单元是单元化架构的基础，一个单元被称为一个 Zone。根据业务特点不同，您可以将系统部署在不同类型的逻辑单元中。RZone（Region Zone）：部署按用户维度拆分的关键业务系统。核心业务和数据单元化拆分，拆分后分片均衡，单元内尽量自...
应用场景
云数据库Redis版 适用于多种场景，尤其是请求并发量大场景中的数据存储。游戏行业应用 游戏行业通常将云数据库Redis版作为重要的部署架构组件，用于缓存或数据持久化。场景一：Redis作为缓存加速应用访问 Redis作为缓存层，加速应用访问。...
索引加速
该结构是一种有序的数据结构，可以按照指定的列进行排序存储。在这种数据结构上，以排序列作为条件进行查找，会非常的高效。在Aggregate、Unique和Duplicate三种数据模型中，底层的数据存储是按照各自建表语句中AGGREGATE KEY、UNIQUE KEY...
AnalyticalStoreStorageSize
数据结构 message AnalyticalStoreStorageSize { optional int64 size=1;分析存储占用存储大小。optional int64 timestamp=2;统计时间。} 名称 类型 描述 size int64 分析存储大小。单位为字节。timestamp int64 统计分析存储大小时的时间...
05物理化逻辑表
通过物理化的方式，将创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理，本文介绍如何物理化逻辑表。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已在工作...
表格存储和传统关系型数据库（例如MySQL、SQL Server...
表格存储是阿里云自研的多模型结构化数据存储，提供海量结构化数据存储以及快速的查询和分析服务，与传统关系型数据库（RDBMS，例如MySQL、SQL Server）在数据模型和技术实现上都有较大的区别。表格存储和传统关系型数据库的主要区别如下：...
数据类型
了解Spark数据类型、Scala中的值类型、表格存储中多元索引数据类型和表格存储表中数据类型的对应关系。使用过程中请确保Spark、Scala和表格存储中字段或值的数据类型相匹配。基础数据类型 基础数据类型的支持情况请参见下表。Spark数据类型...
SA混合云存储阵列
阿里云混合云存储阵列作为软硬一体的存储设备，集成了阿里云存储服务，融合了公共云存储和传统存储阵列的优点：简单 客户无需更改原有的IT架构，就可以像使用本地存储设备一样使用阿里云混合云存储阵列，同时使用本地存储空间和云端存储...
哪些是常用的资源包
存储包 根据文件的不同存储类型，OSS对存储在Bucket中的文件收取对应的存储容量费用，您可以购买不同的存储包用于抵扣对应的存储容量费用。关于OSS支持的存储包类型及抵扣说明，请参见 存储费用。下行流量包 当您通过公网访问或者下载...
如何选择备份方式
逻辑备份与物理备份的区别 参照项 逻辑备份 物理备份 概念 数据库对象级备份，备份内容是表、索引、存储过程等数据库对象，常见工具为MySQL mysqldump、Oracle exp/imp等。数据库文件级备份，备份内容是操作系统上数据库文件，常见工具为...
冷热数据分层存储
冷热数据分层存储提供了两种存储策略，具体如下：存储策略 详情 默认存储策略 将新写入的数据存储在热数据盘中，提供高效查询。当热数据存储量达到业务使用阈值时，自动将当前热数据盘中占用空间最大的part数据文件移动到冷数据盘存储，...
产品架构
分布式链路跟踪产品总体架构如下图所示：Trace 数据采集通道 目前支持 3 种数据的采集通道，分别是阿里云底座的 SLS 通道，Antstack 底座的 ALS 通道，以及应用主动上报的通道。前两种是基于 Trace 日志收集的方式，后一种是 Trace 数据...
什么是混合云存储
本地存储可以通过云缓存、云同步、云分层、云备份等方式无缝连通云存储，为不同的数据应用场景提供针对性优化的混合云存储解决方案。产品 描述 SA混合云存储阵列 软硬一体的存储设备，专为对存储有高性能和稳定性要求，并且希望无缝上云的...
- 产品推荐
- 这些文档可能帮助您