PolarDB HTAP实时数据分析技术解密
因此要达到最极致的分析性能必须使用列式存储，而列式存储中索引稀疏导致的索引精准度问题决定它不可能成为TP场景的存储格式，如此行列混合存储成为一个必选方案。但在行列混合存储架构中，行存索引和列存索引在处理随机更新时存在性能鸿沟...
可视化MapReduce模型
判断如果是rootTask的情况下，构建并行计算子任务对象列表*在实际业务场景中，用户可自行根据业务场景加载子任务对象且该业务对象实现BizSubTask接口*场景案例：*1、从数据库中加载未被处理的客户账户信息*2、构建省份城市地区信息列表，按...
RDS MySQL同步至ClickHouse集群
云数据库ClickHouse是面向联机分析处理的列式数据库，基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级，通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）...
Web端性能体验功能说明
慢加载 概述 慢加载包含加载URL列表，URL请求样本分布、请求ID列表和单次请求加载时序图 功能介绍 设置 您可以自定义慢请求的整体阈值，页面完全加载时长超过慢加载阈值的被视为慢启动，默认为3秒，设定后页面即刻刷新 URL列表 URL列表中...
组件参考：所有组件汇总
组件类型 组件 描述 自定义组件 自定义组件 支持在AI资产管理中创建自定义组件，自定义组件创建成功后，您可以在Designer中将该组件与官方组件串联使用进行模型训练。源/目标 读OSS数据 该组件用来读取对象存储OSS Bucket路径下的文件或...
埋点API
SDK自动上报的页面浏览事件，不支持设置事件属性 6.2.1 页面自动埋点开关 页面自动上报默认是开启的，如果需要关闭自动页面上报，API如下：aplus_queue.push({ action:'aplus.setMetaInfo',arguments:['aplus-disable-apv',true]});...
产品架构
按照传统方案，为了满足多种类型数据的存储、查询和分析需求，在设计IT架构时，需要针对不同种类的数据，采用不同的存储分析技术，如下图：这种技术方案，是一种典型的技术碎片化的处理方案。针对不同的数据，使用不同的数据库来处理。有...
API安全
API安全模块支持自动梳理已接入 Web应用防火墙（Web Application Firewall，简称WAF）防护的业务中开放的API资产，检测API风险（例如敏感数据泄露、内部接口暴露等），并通过报表还原API异常事件，提供详细的风险处理建议和API生命周期管理...
如何使用Chrome浏览器的开发者工具排查ECS实例上的...
本文介绍使用Chrome浏览器的开发者工具排查网站加载过慢问题的方法。问题描述 部署在ECS实例上的网站使用Chrome浏览器访问时加载过慢。问题原因 网站中存在部分脚本或资源（例如网站调用的文件、网站需要使用的网络资源）请求过慢或加载...
JVM监控内存详情说明
ARMS获取JVM内存详情的原理 ARMS应用监控探针通过JDK提供的MemoryMXBean获取JVM运行期间内存详情，受限于MemoryMXBean的运行机制，目前ARMS的JVM内存监控能力还不能覆盖Java进程占用的所有内存区域。更多详情请参见Java官方网站的 ...
列存索引技术架构介绍
技术背景 MySQL生态HTAP数据库解决方案 MySQL是一款主要面向OLTP型场景设计的开源数据库，开源社区的研发方向侧重于加强其事务处理能力。如提升单核性能、多核扩展性和增强集群能力，以提升可用性等。在处理大数据量下复杂查询所需要的能力...
概述
为应对数据爆炸式增长的挑战，PolarDB分布式版本基于对象存储设计了一套列存索引（Clustered Columnar Index，CCI）功能，支持将行存数据实时同步到列存存储上，并支持以下功能：在线事务处理和实时数据分析的一体化能力，满足OLTP和OLAP...
列存索引（IMCI）发布说明
SQL Parser/优化器：面向行列混合存储的CBO优化器，可以根据代价自动选择行存或者列存执行查询请求；在此架构下，PolarDB MySQL版 实现了100%兼容MySQL协议的基础上，同时获得数个数量级的查询加速效果。核心优势 PolarDB MySQL版 依托列存...
会话操作记录投递
您可以使用云助手的会话操作记录投递功能，将会话管理（Session Manager）操作记录投递到您的对象存储OSS或日志服务SLS中，进行持久化存储。本文介绍如何配置会话操作记录投递和查看已投递的会话操作记录。背景信息 如果您需要对会话管理...
工作空间
本文介绍基因分析平台中工作空间的使用方法。基因分析平台中的所有操作，都必须在工作空间内进行。用户可以通过工作空间进行基因数据、分析应用和运行任务的管理，满足数据隔离、权限控制、费用统计等业务需求。创建工作空间 在工作空间...
基本概念
K 宽表引擎 负责宽表与对象数据的管理和服务，具有全局二级索引、多维检索、动态列、TTL等能力，适用于元数据、订单、账单、画像、社交、feed流、日志等场景，兼容SQL、HBase、Cassandra（CQL）、S3等标准接口。更多信息，请参见 宽表引擎...
功能概览
应用下钻和性能分析 支持基于应用>上下游应用>接口等逐层下钻分析，并展现其黄金性能指标（比如吞吐量、平均响应时、错误率、满意度等），建立由底层到上层间的数据关联信息，从而深度分析分布式场景下的影响应用性能的问题根因。...
标签分账概述
最佳实践 使用标签实现成本分摊管理 使用标签实现对象存储（OSS）按Bucket的成本分摊管理 基于标签查询ECI分账账单 使用标签实现实例型云服务分账 使用标签实现分拆型云服务分账 使用标签实现集群型云服务分账 查看和导出实例型云服务的分...
文档更新动态（2024年）
更新说明 管理数据标准待发布对象 管理数仓规划待发布对象 管理编码研发待发布对象 管理标签待发布对象 2024年02月 更新时间：2024年02月27日 对应发布的版本：V3.13 文档节点 描述 更新、新增 相关文档 管理中心-系统设置-计算设置 未创建...
网络洞察仪
您可以将网络洞察仪作为业务单元的网络监测件，通过配置业务相关资源，网络洞察仪将为您分析业务单元流量的实时运行状况，帮助您及时感知业务网络异常，并提供网络质量评估和事件影响面分析。基本概念 术语 说明 网络洞察仪 由用户自定义的...
功能更新动态（2024年）
管理数据标准待发布对象 管理数仓规划待发布对象 管理编码研发待发布对象 管理标签待发布对象 2024年02月 对应发布的产品版本：V3.13 北京、深圳：2024年02月27日发布。杭州：2024年02月29日发布。上海：2024年03月03日发布。功能名称 功能...
主成分分析
计算逻辑原理 主成分分析（PCA）：设法将原来变量重新组合成一组新的相互无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析，是数学上处理降维的一...
五分钟入门阿里云Terraform OSS Backend
本文将介绍Terraform的Backend机制及如何使用Terraform OSS Backend。Terraform State简介 Terraform State是用来存放基础设施资源及其属性和状态的机制。Terraform State从存储形态上分为两种：local：本地存储 资源状态存放在本地的一个...
支持的云服务
概述 使用ECI的同时，您可能会使用阿里云容器、网络、存储、日志等服务。ECI与其他云服务的关系如下：容器 服务 说明 相关文档 容器服务Kubernetes版 容器服务Kubernetes是阿里云提供的兼容Kubernetes的容器应用管理服务。ECI支持无缝集成...
快速搭建移动应用直传服务
本文主要介绍如何基于STS Policy的使用规则在30分钟内搭建一个移动应用数据直传服务。直传指的是移动应用数据的上传和下载直接连接OSS，只有控制流连接自己的服务器。前提条件 已开通OSS服务。详情请参见 开通OSS服务。已创建Bucket。详情...
通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark
TPC-DS作为大数据行业中最权威且被广泛认可的基准测试标准，用于衡量大规模数据处理系统的性能与效率的关键指标。阿里云EMR是第一个通过认证的可运行TPC-DS 100 TB的大数据系统。本文介绍如何在EMR集群环境下，充分利用OSS-HDFS服务的优势...
JindoFS实战演示
OSS访问加速 文档链接 视频链接 视频发布时间 描述 访问OSS这类对象存储最快的方式 访问OSS这类对象存储最快的方式 2021-05-25 JindoFS SDK是一个简单易用，面向Hadoop或Spark生态的OSS客户端，为阿里云OSS提供高度优化的HadoopFileSystem...
基础功能
1 SDK原理概述 1.1 原理 SDK提供两种API调用方式 通过aplus环境变量直接调用API的方式 向SDK的指令队列aplus_queue发送API指令的方式 注：两种方式任选其一，可以混用 1.1.1 通过aplus环境变量直接调用API API直接调用的方式代码书写上更为...
Commons Pool 连接 OceanBase 数据库示例程序
通过 Main 类的类加载器获取 db.properties 资源文件的输入流，并使用 Properties 对象的 load()方法加载该输入流，将属性文件中的键值对加载到 props 对象中。捕获可能抛出的 IOException 异常，并打印异常堆栈信息。创建数据库连接池配置...
目标库选型建议
阿里云上有很多种数据库，您可能一时无法对迁移的目标库进行选择，目标库选型建议可以帮助您根据现有的数据库画像进行分析，给出迁移到各种目标库的兼容情况分析，目前目标库选型建议以普遍用户最关心的目标库兼容度为参考依据，为您提供...
pg_hint_plan
背景信息 PostgreSQL使用基于代价的优化器，优化路线使用统计数据而非固定的规则。对于一条SQL语句，优化器会去评估所有可能的代价并最终选择代价最低的去执行。优化器会尽力选择最好的执行计划，但由于其并不了解数据中可能存在的一些内在...
pg_hint_plan
背景信息 PostgreSQL使用基于代价的优化器，优化路线使用统计数据而非固定的规则。对于一条SQL语句，优化器会去评估所有可能的代价并最终选择代价最低的去执行。优化器会尽力选择最好的执行计划，但由于其并不了解数据中可能存在的一些内在...
Designer使用案例汇总
本文为您提供 Designer 产品使用案例相关文档入口链接汇总。智能推荐解决方案 案例名称 描述 推荐业务端到端的完整方案 介绍实现推荐系统的完整方案。基于对象特征的推荐 介绍如何基于对象特征进行商品推荐。使用FM-Embedding实现推荐召回 ...
导入接口介绍
如果当前加载任务存在，则当该加载任务出现终止现象时，系统会自动恢复加载。如果不存在则会停止加载。注意 加载程序会避免重新加载已经成功完成的任务，并且只会尝试处理失败的文件。目前不支持RESUME模式，不能恢复失败的加载任务。AUTO...
数据开发概述
与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您轻松构建离线数仓、实时数仓与即席分析系统，保证数据生产的高效稳定。...
基本对象概念
本章讲述如何在SPL中使用面向对象的编程技术。正如在 Java 和 C++ 等编程语言中所了解的，面向对象的编程着重于对象的概念。对象是现实世界实体的表示形式，如个人、地点或事物。对特定对象（如个人）的统一描述或定义称为对象类型。特定的...
K近邻
暴力搜索：使用蛮力搜索，即或相当于KNN算法，需遍历所有样本数据与目标数据的距离，进而按升序排序从而选取最近的K个值，采用投票得出结果 否 自动 球树 KD树 暴力搜索 自动 测试集比例 测试模型的数据占总输入数据的比例，用于计算模型的...
使用AliNLP分词插件（analysis-aliws）
上传后节点能自动加载词典文件，实现词典的热更新操作（不会触发集群重启）。重要 analysis-aliws插件安装后，系统不会自带默认词典文件 aliws_ext_dict.txt，需要您手动上传。在配置词库前，您需要先准备自定义的词典文件，并重命名为 ...
汇总数据层（DWS）
汇总数据层以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求构建公共粒度的汇总表。汇总数据层的一个表通常会对应一个统计粒度（维度或维度组合）及该粒度下若干派生指标。汇总表设计原则 聚集是指针对原始明细粒度的数据...
使用apack插件的物理复制功能
本文仅介绍物理复制功能的使用方法，向量检索功能的使用方法请参见 使用向量检索插件（aliyun-knn）。背景信息 物理复制功能的基本原理为：阿里云Elasticsearch中索引的主分片和副本分片（以下简称主副分片）之间的同步原理默认与原生...
- 产品推荐
- 这些文档可能帮助您