表设计规范
例如，在规范化设计表的同时对数据通道中的数据采集方式进行优化，可以减少分布式系统中小文件的问题，降低表和分区的维护数量。表设计主要影响 表设计影响的操作有：创建表、导入数据、更新表、删除表及管理表。其中，导入数据场景按照...
行业趋势与背景
分布式数据库是发展方向 近年来，随着互联网、大数据的飞速发展，特别是“双十一”指数型的成交总额发展曲线，让世界看到了中国电子商务业务的火箭式发展势头。而同时，对于背后的业务支撑系统来说，同样经历了火箭式的系统压力增长。以...
概述
数据访问代理是蚂蚁金融科技自主研发的金融级分布式数据库中间件，用于解决海量请求下数据访问的瓶颈及数据库的容灾问题，提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务。十年来专注于为海量数据访问提供低消耗、高性能、高...
品牌升级
分布式关系型数据库服务DRDS目前已品牌升级至云原生分布式数据库 PolarDB-X。PolarDB-X 融合分布式SQL引擎与分布式自研存储X-DB，专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及...
购买数据访问代理实例
数据访问代理是蚂蚁金融科技自主研发的金融级分布式数据库中间件，用于解决海量请求下数据访问的瓶颈及数据库的容灾问题。提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务。使用本产品前，您需要购买一个数据访问代理实例。操作...
产品功能
只要实现一个Map方法，简单几行代码就可以将海量数据分布式到多台机器上执行。更多信息，请参见 Map模型。MapReduce模型 MapReduce模型是Map模型的扩展，废弃了postProcess方法，新增了Reduce接口。所有子任务完成后会执行Reduce方法，可以...
产品概述
承载大量用户核心在线业务，横跨互联网、金融支付、教育、通信、公共事业等多行业，是阿里巴巴集团内部所有在线核心业务及众多阿里云客户业务接入分布式数据库的事实标准。产品特点 稳定 对于绝大部分应用而言，关系型数据库所承担的职责是...
产品功能
分布式计算 提供简单、易用的分布式编程模型，可以进行大数据跑批。单机：随机挑选一台机器执行。详情请参见 单机。广播：所有机器同时执行且等待全部结束。详情请参见 广播。Map模型：类似于Hadoop MapReduce里的Map。只要实现一个Map方法...
适用场景
若当前数据库中任意一个维度出现瓶颈，或出于对业务不断高速发展提前规划数据库选型的考虑，当下选用 PolarDB-X 1.0 构建分布式数据库，可有效降低后期数据库的扩展及运维压力。在业务发展初期，选择单机数据库还是分布式数据库，需要考量...
功能特性
数据访问代理兼容 MySQL 协议和语法，支持分库分表、平滑扩容、服务升降配、透明读写分离和分布式事务等特性，具备分布式数据库全生命周期的运维管控能力。分库分表 支持 RDS、OceanBase、MySQL 的分库分表。在创建分布式数据库后，只需...
对接Jaeger
但在数据采集过程中，由于采集日志业务逻辑和用户代码深度融合，并且不同系统的API并不兼容，导致如果切换追踪系统，会有较大改动。OpenTracing 为了解决不同的分布式追踪系统API不兼容的问题，诞生了OpenTracing规范。OpenTracing是一个轻...
实现原理
CeresDB 是蚂蚁自研的时序数据库，时序引擎是一种存储和管理时间序列数据的分布式数据库，为时间序列提供高性能读写、预处理计算、可视化查询等功能。产品层 产品层（应用名为 monitorprod）承载了 RMS 的所有页面以及用户交互、配置逻辑，...
概述
金融分布式架构 SOFAStack 致力于提供一整套帮助广大金融场景落地云原生、分布式架构的产品和解决方案，而其中的应用 PaaS 平台，融合金融科技多年在大规模分布式系统和容器平台的实践经验，使用户在专注于业务价值的同时，提升研发效率和...
新建 PolarDB-X 2.0 数据源
背景信息 云原生数据库 PolarDB 分布式版（简称 PolarDB-X）是由阿里巴巴自主研发的云原生分布式数据库，为您提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。详情请参见 什么是云原生数据库 PolarDB 分布式版。前提条件...
典型客户案例
整个方案包含飞天云计算操作系统、分布式中间件体系 SOFAStack、分布式数据库平台 OceanBase、金融数据智能平台、金融核心套件 bPaaS、保险专家服务、mPaaS 移动开发平台、金融钉钉等一系列产品技术与服务，助力中华财险从传统 IOE 架构...
产品功能
跨数据库分布式事务 系统分库、分表后，跨库事务几乎无法避免，GTS 可以让应用轻松具备跨库事务处理能力。跨服务的分布式事务 提供跨库、跨服务的事务支持，实现业务链路级别的分布式事务。消息队列分布式事务 在多次调用消息系统的场景中...
快速入门
背景信息 在阿里云Elastic Stack产品生态下，Elasticsearch作为实时分布式搜索和分析引擎，Logstash采集、转换、优化和输出数据，Beats从各个机器和系统采集数据，高级监控报警服务提供Elasticsearch集群各类指标信息的监控，帮助您及时...
什么是阿里云Elasticsearch
Beats数据采集中心 Beats是轻量级的数据采集工具，集合了多种单一用途的数据采集器。它们从成百上千或成千上万台机器和系统向Logstash或Elasticsearch发送数据。阿里云Elasticsearch的Beats采集中心支持Filebeat、Metricbeat、Auditbeat和...
产品概述
时间序列数据库(Time Series Database,简称 TSDB)是一种高性能、低成本、稳定可靠的在线时间序列数据库服务，提供高效读写、高压缩比存储、时序数据插值及聚合计算等服务，广泛应用于物联网（IoT）设备监控系统、企业能源管理系统（EMS）、...
Join优化
Shuffle Join 当进行Hash Join时，可以通过Join列计算S表和R表相应数据的哈希值，把相同哈希值的数据被分发到分布式系统中的同一个节点，利用分布式系统加速Join查询。它的网络开销是 T(S)+T(R)，但它只能支持Hash Join，因为它根据Join的...
江西农信
江西农信日前携手蚂蚁集团，使用最前沿的云原生技术，实现了传统业务系统从集中式技术架构下移，并平滑迁移上云，为整体核心系统进行分布式架构升级和演进探索积累了坚实的技术基础。客户需求 过去多年，江西农信基于传统 ESB...
HDFS概述
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
云原生分布式数据库 PolarDB-X系统权限策略参考
本文描述云原生分布式数据库 PolarDB-X支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云...
什么是全局事务服务GTS
可以与RDS、MySQL、PostgreSQL等数据源，Spring Cloud、Dubbo、HSF及其他RPC框架，MQ消息队列等中间件产品配合使用，轻松实现分布式数据库事务、多库事务、消息事务、服务链路级事务及各种组合。为什么需要全局事务服务 一个完整的业务往往...
产品优势
遵循 OpenTracing 埋点 提供平台无关、厂商无关的 API，使得开发人员能够方便的添加（或更换）追踪系统的实现，跟踪分布式系统内各组件的调用情况等。多维度应用度量 提供多种度量维度实时监测应用程序的性能，能帮助更好的了解当前应用...
概述
SOFAStack 消息队列（SOFAStack MQ，简称 SOFAMQ）是基于 Apache RocketMQ 构建的分布式消息中间件，并与金融分布式架构 SOFAStack 深度集成，为分布式应用系统提供异步解耦和削峰填谷的能力，支持事务消息、顺序消息、定时消息等多种消息...
功能架构
系统通过采集各种指标、日志和链路等数据，并进行海量数据的清洗、计算。以此来支撑产品层的应用监控、业务监控、平台监控、基础设施监控、告警管理和分布式链路等能力。作为一个企业级产品，系统提供资源租户隔离、访问鉴权控制和监控配置...
优化建议
常用优化包括 合理的选择拆分字段。选择拆分字段时需要综合考虑查询性能、分布式事务、热点、数据迁移等多个因素...调整分布式数据库的配置参数，重新观察系统；调整读写比例、并发活跃连接数，重新观察系统；比较结果，找出正确的优化方式。
应用场景
如果交易服务使用数据访问代理来分库分表，虽然数据访问代理本身不支持分布式事务，但是分布式事务可以轻松和数据访问代理集成，使得数据访问代理具备分布式事务的处理能力，解决分库分表后的跨库分布式事务问题。跨服务的分布式事务 例如...
调用链采样配置最佳实践
对于绝大多数分布式系统，不是每一条调用链都值得被可观测平台记录，因为其中包含大量重复、低关注度信息。调整采样是目前解决这类问题最高效且主流的方式，但具体配置什么样的采样策略，能够在可控的资源开销和费用成本内，最大程度保证错...
附录：SOFAStack 产品目录
分布式事务支持 数据访问代理结合中间件分布式事务套件，可以支持分布式事务，保证分布式数据库数据一致性。应用场景 海量数据读写 提供灵活的数据拆分机制，代码侵入性低，可以非常方便地实现数据的水平拆分与扩容，从而解决数据库单机...
日志同步分析概述
Kafka实时接收到Filebeat采集的数据后，输出到Logstash中进行过滤处理，最终将满足需求的数据输出到Elasticsearch中进行分布式检索，并通过Kibana进行分析与展示。查询分析RocketMQ客户端日志 使用Beats、Elasticsearch、Logstash和Kibana...
支持的云服务
表格存储 表格存储是构建在阿里云飞天分布式系统之上的分布式NoSQL数据存储服务，MaxCompute 2.0支持直接通过外部表方式访问表格存储中的表数据并进行处理，详情请参见 Tablestore外部表。更多表格存储信息，请参见 表格存储。对象存储OSS ...
快速体验
注意事项 本案例中，数据采集和数据加工的部分任务可以通过ETL工作流模板一键导入。在导入模板后，您可以前往目标空间，并自行完成后续的数据质量监控和数据可视化操作。仅 空间管理员 角色可导入ETL模板至目标工作空间，为账号授权空间...
技术面临的挑战与革新
在Proxy的协同下，甚至可以做到节点切换对应用无感知 传统分布式架构与存储计算分离架构对比 分布式数据库其实已经有了不短的历史，早期的分布式数据库，在整体架构上可以分为share nothing和share disk两大类。share disk通过扩展底层的...
实验介绍
涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，加工，质量监控，与数据可视化展现，您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...
基本概念
日志采集器 采集系统监控日志用来生成监控数据以及调用链信息的组件。在VPC网络中，机器天然与服务器隔离，日志采集器可以打通服务器和本地机器的连接通道。安装一个日志采集器即可采集整个VPC里所有机器的数据。实时日志 实时日志是针对...
企业版产品系列
基于分布式块存储和文件系统，存储容量可以在线平滑扩展，不会受到单个数据库服务器的存储容量限制，可应对上百TB级别的数据规模。计算与存储分离 采用计算与存储分离的架构，满足公共云计算环境下根据业务发展弹性扩展集群的刚性需求。...
设置应用日志关联
在分布式链路跟踪中，通过为应用进行日志关联设置，您可以在单链路显示时查看某一个链路环节所对应的日志信息。日志关联原理 对应用日志输出的配置进行修改，更改日志输出 Pattern，在应用日志中，输出 TraceId 及 SpanId。在云端应用中，...
功能特性
覆盖基础（ActionTrail、容器服务Kubernetes版）、存储（OSS、NAS）、网络（SLB、API网关）、数据库（关系型数据库RDS、云原生分布式数据库PolarDB-X、PolarDB MySQL云原生数据库）、安全（WAF、DDoS防护、云防火墙、云安全中心）等云产品...
- 产品推荐
- 这些文档可能帮助您