概述
本文档介绍了 PolarDB MySQL版 数据与缓存一站式功能，如功能概览、适用场景、核心优势、技术原理等。简介 传统的数据与缓存一站式的解决方案通常为Cache Aside模式。Cache Aside模式下，持久化层和缓存层的一致性问题主要是“双写”，即...
PolarDB MySQL推出数据与缓存一站式功能
技术原理 PolarDB MySQL版 数据与缓存一站式的功能中，将Tair作为PolarDB集群的RO节点—— Tair缓存节点，并向用户提供关系型数据库和缓存的一站式解决方案。下图为数据与缓存一站式功能的技术架构图：提供基于Tair内存引擎的能力与Redis...
使用DataWorks（离线与实时）
场景3：导入其他数据源数据至MaxCompute 同步能力说明 DataWorks 数据集成 支持将其他数据源的数据同步至MaxCompute，例如将RDS等数据库的数据同步至MaxCompute，针对不同的同步场景，数据同步原理与能力支持不一致。DataWorks离线同步为您...
数据安全治理的必要性
其中，风险/差距分析矩阵是最关键的组成部分，它将信息生命周期和技术领域与数据隐私和保密原则相结合，采取相应的措施来保护数据免受隐私、机密性和合规性威胁，并管理剩余风险。上述定义均体现了数据安全治理并不是单纯使用技术工具就能...
产品架构
当前信息化技术发展面临的一个主要矛盾是"日益多样的业务需求带来的多种类型数据与数据存储技术架构日趋复杂成本快速上升之间的矛盾。伴随5G、IoT、智能网联车等新一代信息技术的逐步普及应用，这个矛盾会越来越突出。为了解决这个问题，...
数据迁移与同步FAQ
DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可...
实时同步任务告警设置最佳实践
其基本原理为数据处理时间与数据在源端生产时间差。此告警指标为核心告警指标，建议所有重要实时同步任务（Kafka源端实时同步任务建议使用消息堆积量指标监控）均配置。告警阈值根据业务实际需要设置，建议告警阈值为分钟级别，防止由于...
未来规划
数据库的未来发展趋势可以总结为以下四点：产品架构与技术创新：云原生+分布式（弹性、高可用）。架构上分布式共享存储、存储计算分离，云原生架构+Shared Nothing分布式架构，满足弹性、高可用、水平拓展的能力。数据挑战：多模，结构化与...
方案概述
私网流量加密通信原理 在本地数据中心IDC（Internet Data Center）通过物理专线和云企业网与云上专有网络VPC（Virtual Private Cloud）实现私网通信后，私网VPN网关可通过已建立的私网连接与本地网关设备建立加密通信通道。您可以通过相关...
什么是AI通信加速库Deepnccl
集合算法层 在集合算法层，通过集合通信编译技术，针对不同的机型构建自适应拓扑算法，实现NCCL Runtime充分兼容和无感的集合通信拓扑优化。网络层 在网络层，通过对阿里云的VPC、RDMA或者eRDMA网络基础设施进行适配优化，实现网络层无感的...
自建SQL Server通过物理网关迁移上云
内存数据库与镜像技术 由于SQL Server中In-Memory OLTP特性和Mirroring技术是不兼容的，如果您的源端开启了内存数据库，目标端不能为高可用版的RDS实例。数据库个数 多库迁移时，由于RDS的数据库个数存在约束限制，不同的实例规格限制也...
自建SQL Server通过物理网关迁移上云
内存数据库与镜像技术 由于SQL Server中In-Memory OLTP特性和Mirroring技术是不兼容的，如果您的源端开启了内存数据库，目标端不能为高可用系列的RDS实例。数据库个数 多库迁移时，由于RDS的数据库个数存在约束限制，不同的实例规格限制也...
概述
实现原理 将物联网平台颁发的设备证书配置到DTU中，由DTU代理设备与物联网平台进行数据通信。设备通过串口与DTU相连，DTU通过2G、3G、4G、5G或Ethernet网络与阿里云物联网平台相连，由DTU实现阿里云物联网平台的接入协议。数据流转如下图所...
创建达梦（DM）数据源
达梦（DM）数据库吸收借鉴当前先进新技术思想与主流数据库产品的优点，融合了分布式、弹性计算与云计算的优势，具有灵活性、易用性、可靠性、高安全性等特点。如果您使用的是达梦（DM），在导出Dataphin数据至达梦（DM），您需要先完成达梦...
创建达梦（DM）数据源
达梦（DM）数据库吸收借鉴当前先进新技术思想与主流数据库产品的优点，融合了分布式、弹性计算与云计算的优势，具有灵活性、易用性、可靠性、高安全性等特点。如果您使用的是达梦（DM），在导出Dataphin数据至达梦（DM），您需要先完成达梦...
概述
技术原理 列存索引的构建 列存索引是由列存引擎节点来构造的，构建的数据最终会以CSV+ORC两种数据格式存储在共享对象上。其中CSV往往存储的是实时的增量数据，过多的增量数据会及时进行compaction，转储成ORC格式。不管是CSV还是ORC格式，...
从沙箱实例迁移至RDS MySQL
背景信息 数据库备份DBS 基于Copy Data Management（CDM）技术可以实现快速恢复独立的DBS沙箱实例（即数据库实例），使备份数据快速可用。更多信息，请参见 DBS沙箱功能概览。当您恢复沙箱实例后，您可以通过 数据传输服务DTS 将沙箱实例...
概述
技术原理 归档为 CSV 或 ORC 格式的技术原理图如下：集群中的热数据存储在共享存储（PolarStore）中，各个 PolarDB 节点通过分布式文件系统（PolarFileSystem）访问PolarStore中的数据。为降低数据存储成本，达到冷热数据分离管理的目的，...
概述
如果您的子设备与物联网平台之间，需进行物模型数据通信，请配置网关代理子设备进行物模型数据通信。配置方法，请参见 物模型通信。说明 网关如何与子设备进行数据传递，需网关厂商自行实现，阿里云不提供代码支持。操作步骤 本示例使用的...
阿里云云通信短信服务安全白皮书V1.0
阿里云云通信合作伙伴应按照适用数据保护法律要求和与阿里云云通信签订的协议要求，建立相对应的数据安全能力，落实必要的管理和技术措施，为合作过程中相关数据提供充分的安全保障，防止数据遭受未经授权的获取、使用、泄漏、损毁、丢失等...
数据量
备份数据量 通过备份链路的实际数据大小，与数据文件空间不同，备份数据量取决于数据库类型、备份方式、备份粒度等因素。存储数据量 存放存储介质的实际数据大小，与备份数据量不同，存储数据量取决于备份数据量、备份数据存储格式、压缩...
什么是备份数据量
与数据文件空间不同，备份数据量取决于数据库类型、备份方式、备份粒度等因素。存储数据量 存储数据量指存放存储介质的实际数据大小。与备份数据量不同，存储数据量取决于备份数据量、备份数据存储格式、压缩算法等因素。空间大小 在单次全...
使用场景
数据治理与数据管控 DMS任务编排提供了数据源的配置和管理功能，支持对数据源进行统一管理和控制，保证数据的安全性和可控性。数据归档与清理 将业务数据周期性地归档至低价存储并进行分析。任务调度 对定时、定期或事件触发的任务进行调度...
概述
说明 关于AUTO模式数据库与DRDS模式数据库的介绍，请参见 AUTO模式数据库与DRDS模式数据库。原理 在 PolarDB-X 中，如果创建表时通过 AUTO_INCREMENT 指定了自增列，为了保证自增列的全局唯一性，则自动为该表创建并关联一个Sequence对象，...
概述
本文介绍了冷数据分层存储的优势和技术原理。功能优势 当 开启冷数据分层存储 后，单位存储的价格相较于ESSD PL1降低了约90%。详细定价规则请参见 冷数据分层存储计费规则。的冷数据分层存储功能具备易用性好、灵活度高、性能优良、覆盖...
产品架构
本文将介绍数据传输服务的整个系统架构及基本实现原理。系统架构 DTS系统架构特性说明 系统高可用 数据传输服务内部每个模块都有主备架构，保证系统高可用。容灾系统实时检测每个节点的健康状况，一旦发现某个节点异常，会将链路快速切换到...
列存索引如何实现高效数据过滤
基本原理与方法 分区信息剪枝 IMCI的分区剪枝技术是指在查询时根据分区键的条件来过滤不需要查询的分区，从而减少查询的数据量和提高查询效率的技术。IMCI支持的分区类型包括RANGE、LIST、HASH三种。其中，RANGE和LIST分区会把数据表分成...
数据集成概述
您需要确保数据集成用于执行数据同步的资源组与您将同步的数据来源端与目标端网络环境的连通，数据集成支持您根据数据源所在网络环境，选择对应的网络同步任务，关于网络连通方案选择与配置资源组与数据源的网络连通，详情请参见：配置资源...
数据传输与迁移概述
MaxCompute提供多种渠道，以便您从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据...
产品优势
复杂任务管理与调度：结合DMS账号与数据权限管理机制，能够进行复杂任务的管理与调度，提升开发过程的安全性。运维机制完善：通过任务运行日志、数据血缘及监控机制，提供完善运维能力。实时数据传输 多种数据传输方式：基于DTS的实时数据...
数据查询与分析管控
您可通过 管控数据源的查询权限 功能，对其他用户或角色进行授权，授权时应注意：成员或角色被授权数据源查询权限后，将获得与数据源访问身份同样的权限。为保障数据的安全性（特别是生产数据），建议您合理规划后谨慎分配权限。标准模式...
数据上传
DataWorks的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎进行分析处理及相关管理操作，致力于为您提供高效、便捷的数据传输服务，助力您快速实现数据驱动业务。使用限制 目前仅支持基于 本地...
数仓规划概述
使用DataWorks进行数据建模时...DataWorks智能数据建模在进行跨多个工作空间数据的统一建模情况下，为您提供了 模型设计工作空间 与 数据研发工作空间 的概念，通过建模空间功能实现模型跨工作空间应用。建模空间的详细介绍请参见 建模空间。
QPS限制
通过阅读本文，您可以了解音视频通信数据服务单用户的API QPS限制。单用户QPS限制 单用户的API QPS限制是指以阿里云账号为基准，该账号及其RAM用户每秒或每分钟调用某API的频率上限。例如：某阿里云账号及其对应5个RAM用户同时调用接口 ...
常见问题
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
多租户管理使用说明
技术原理如下图所示：术语 租户：租户（Tenant）为实现多租户模式所提出的概念，租户的层级结构在一个数据库实例之下，在数据库与用户之上。租户分为系统租户和普通租户：系统租户：系统租户是为了适配原有模式下用户的使用，原有数据库...
安全隧道通信协议
设备端与访问端之间的通信、安全隧道内部的会话（Session）管理及Session内的数据通信，都基于通信协议中隧道帧实现。隧道帧为WebSocket中二进制类型数据帧的Payload。您需在访问端应用程序和设备端目标应用中，自行设计和开发应用层通信...
使用DataWorks
测试资源组与数据来源、数据去向之间的网络连通性，确认独享数据集成资源组与数据源网络已打通。然后单击 下一步。配置任务。配置数据来源与去向。在 数据来源 和 数据去向 区域，配置任务读取与写入的表，及同步的数据范围。详情请参见 ...
创建ClickHouse数据源
若资源组与数据源无法连通，则相应数据源任务将无法正常执行。后续操作 数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：DataWorks的数据开发与运维中心模块，为您提供ClickHouse任务的开发与调度能力，若您需要基于该...
创建同步任务
您需要测试每种资源组的连通性，以保证同步任务使用的资源组能够与数据源连通，否则将无法正常执行数据同步任务。测试连通性通过后，单击 完成，数据源创建完成。步骤二：新建并配置同步任务 通过创建同步节点 write_result 来生成一个同步...
- 产品推荐
- 这些文档可能帮助您