云原生仓 AnalyticDB PostgreSQL

兼容Greenplum开源数据仓库,MPP全并行架构,广泛兼容PostgreSQL/Oracle的语法生态,新一代向量引擎性能超越传统数据库引擎10倍以上,分布式SQL优化器实现复杂查询语句免调优。实现了对海量数据的即席查询分析、ETL 处理及可视化探索,是各...

云原生数据湖分析 DLA

云原生数据湖分析(Data Lake Analytics,简称DLA)是无服务器(Serverless)化的数据湖分析服务,支持按需与保留资源使用,打造最具性价比的数据湖分析平台;...ETL、机器学习、流、交互式分析,可以与 OSS、数据库等多种数据源搭配使用。

使用kettle将本地数据导入分析型数据库MySQL版

背景信息Kettle是一款非常受欢迎的开源ETL工具软件,主要用于数据整合、转换和迁移。Kettle除了支持各种关系型数据库,HBase MongoDB这样的NoSQL数据源外,它还支持Excel、Access这类小型的数据源。并且通过这些插件扩展,kettle可以支持...

云数据库新人专场

MySQL年付低至19.9,其它热门产品1元起购!
广告

使用Kettle将本地数据同步至AnalyticDB MySQL

Kettle不仅支持各类关系型数据库和NoSQL数据源(HBase、MongoDB),也支持Excel、Access类型的小型数据源。通过扩展插件,Kettle可以支持更多数据源。更多Kettle信息,请参见Kettle。准备工作 安装Kettle。在AnalyticDB MySQL版中创建目标...

ETL工具支持概览

支持的ETL工具见下,可以同时参见更详细的同步方案列表数据迁移及同步方案综述:数据传输服务(DTS):阿里云提供的实时数据同步服务,可以将其他数据源(RDS MySQL,ECS自建MySQL,PolarDB等)实时同步数据到AnalyticDB PostgreSQL版,...

同步数据

通过Kettle将关系型数据库、Hbase等NoSQL数据源,以及Excel、Access中的数据导入分析型数据库MySQL版中,详细操作步骤请参见使用kettle将本地数据导入分析型数据库MySQL版。通过Logstash插件将采集到的日志等数据等实时写入分析型数据库...

生态集成

PostgreSQL版具备完善和开放的生态系统,支持无缝对接业界以及阿里云生态的数据管理工具,BI报表可视化工具,ETL工具,数据迁移工具,同时可以与业界流行的流式处理系统,日志类系统,大数据类系统,传统仓及数据库类系统互通。数据开发/...

MySQL中出现“Too many connections”报错

问题描述 通过客户端连接MySQL数据库后,数据库返回类似如下提示。Too many connections 问题原因 可能存在以下部分原因: 数据库的性能不符合业务需求。如果代码有缺陷,可能会造成连接较多。解决方案 方法一:调整数据库最大连接或...
来自: 首页

新建连接模板

本文介绍数据源或目标需要同步的数据实例的连接模板的配置方法。操作步骤 说明 下文以在数据源类型MySQL页面新建连接模板为例进行介绍。登录数据传输控制台。在页面右上角选择目标任务所在地域。说明 当前仅支持在华东1(杭州)和华北2...

通过DTS实现数据库的垂直拆分

当RDS实例负载过大时,可以将该实例的一个数据库或表垂直拆分至另外一个单独的实例中。本文介绍如何通过双写方案和简易拆分方案实现垂直拆分。背景信息 假设一个RDS实例上有数据库A和B,随着业务增长实例瓶颈也日趋可见,如想要减轻该实例...

FineBI

自助数据集:可以在数据库表或SQL数据集的基础上进行添加自助数据集等数据加工操作。选择基表字段后,进行过滤、分组汇总、新增列、合并等操作。示例 通过研究用户消费数据,将不同商品之间进行关联,并挖掘二者之间联系的分析方法,称为...

兼容性概览

支持 无该功能 支持 支持 ETL工具与AnalyticDB MySQL版兼容性 ETL工具 连接数据库 查询视图 查表 写表 列举数据库 建表 列举表 查看表结构 查看视图结构 建视图 Oracle Golden Gate 支持 支持 支持 支持 OGG专注链路同步、不支持该功能。...

配置ETL任务

数据库传输服务DTS为数据同步过程提供了流式的ETL功能,您可以在数据源和目标库之间添加各种转换组件,实现丰富的转换操作,并将处理后的数据实时写入目标库。例如将两张流表做JOIN操作后形成一张大表,写入目标库;或者给源表新增一个字段...

某手游开发公司在离线一体分析方案

方案亮点:PB级数据量、同时支持在线和离线数据分析业务挑战通过对游戏服的用户行为日志进行收集、存储和分析,计算玩家留存率、LTV、ARPU、充值总金额等。游戏运营变化快,需要灵活的Schema。在线用户基数大,日志数据规模大,需要高吞吐...

典型场景

数据仓库服务您可以通过数据传输服务(DTS)或数据集成服务(DataX),将云数据库(例如RDS、PolarDB)或自建数据库批量同步到云原生数据仓库AnalyticDB PostgreSQL版。云原生数据仓库PostgreSQL版支持对海量数据的复杂ETL进行处理,这些...

无法连接RDS数据库且提示“max_user_connections”...

问题描述 通过DMS控制台或者数据库客户端无法连接RDS数据库,且提示“max_user_connections”相关错误信息。问题原因 RDS数据库的连接已满,导致不能正常连接。解决方案 阿里云提醒您:如果您对实例或数据有修改、变更等风险操作,务必...

使用函数计算对日志进行ETL处理

本文介绍如何使用阿里云日志服务接入电商系统Web服务器,并在函数计算中编写ETL托管程序,对日志服务中的数据进行处理,然后通过日志服务的仪表盘进行可视化展示。ETL托管程序通过日志服务触发器以秒级准实时的频率被调用。应用场景 数据...

典型场景

基于湖构建数据平台,支持BI、挖掘等业务对象存储OSS可以作为湖存储,DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等...轻量级清洗方案:可以通过Presto满足轻量级数据ETL,从OSS写入数据数据库

配置目标信息

本文介绍配置目标信息的具体方法。前提条件 当前仅支持在华东1(杭州)和华北2(北京)创建ETL任务。目标当前仅支持自建MySQL、RDS MySQL、云原生数据仓库AnalyticDB MySQL版。已创建目标。已完成数据源信息和转换组件的配置。由于...

配置转换组件

本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。背景信息 ETL支持的转换组件如下:表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制:表JOIN:仅支持两个表之间做JOIN操作。字段计算器和表记录...

产品优势

及时关联查询无需数据迁移、数据汇集、ETL,即可直接完成多个在线数据库之间的关联查询。多数据源支持支持MySQL、SQLServer、PostgreSQL等关系型数据库,并支持以SQL的方式访问Redis等NoSQL。最终可以对这些异构数据源做关联查询。跨region...

从PolarDB MySQL同步至云原生数据仓库AnalyticDB ...

DTS在执行全量数据初始化时将占用源和目标一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,甚至导致...

配置数据源信息

本文介绍配置数据源信息的具体方法。前提条件 当前仅支持在华东1(杭州)和华北2(北京)创建ETL任务。数据源当前仅支持自建MySQL、RDS MySQL、PolarDB MySQL。已创建源。操作步骤 说明 下文以配置一个MySQL为例进行介绍。登录数据传输...

一键创建OSS数据仓库

MySQL、MongoDB数据库或者ECS自建数据库数据同步到OSS中,即创建OSS数据仓库(创建Schema)。操作步骤 登录Data Lake Analytics管理控制台。在页面左上角,选择DLA所在地域。在左侧导航栏单击数据湖管理>数据入湖。在数据入湖页面,单击一...

常见问题

如何在DMS控制台中查看数据库对应的DBA 在DMS控制台添加钉钉通知方式时失败 数据库没有数据Owner时如何处理 数据变更 SQLConsole页面执行SQL语句超时中断解决方案 DMS控制台中执行数据变更任务时提示“Duplicate column name 'XXXXX'” ...

Teradata应用迁移至AnalyticDB PostgreSQL

PostgreSQL云化仓过程中,秉承充分复用旧系统架构、ETL算法、数据结构和工具的原则,需对原加工脚本进行转换,另外,需对历史数据进行迁移,并保证数据的准确性,完整性。对数据仓库基础数据平台的完整迁移。对数据仓库系统上已部署应用...

使用phpMyAdmin连接数据库失败

使用phpMyAdmin连接数据库失败,并提示Too many connections。本文介绍这种情况的可能原因和解决方案。问题现象 通过phpMyAdmin连接数据库失败,并提示Too many connections。可能原因 云虚拟主机的数据库并发连接超出默认设置的最大允许...

【5月】DTS产品发布记录

ETL功能用于实现数据库数据的清洗和转换处理,能够准确、高效地提供您需要的数据。本周该功能新增支持源实例为PolarDB MySQL,目标实例为云原生数据仓库AnalyticDB MySQL版,满足多样化的数据库场景需求。配置方式,请参见配置ETL任务。...

【4月】DTS产品发布记录

ETL功能用于实现数据库数据的清洗和转换处理,能够准确、高效地提供您需要的数据。公测期间,您需点击申请链接,开通ETL功能。说明 单个账号可免费创建并使用两个ETL实例。目前支持的源数据和目标数据所属数据库的类型仅支持为MySQL...

数据分析

传统数据分析的方法为:通过离线脚本将数据周期性地从源数据库采集至数据仓库(Hadoop、MaxCompute),再进行ETL(Extract-Transform-Load)开发。这种方法的时间性较差,通常需要T+1天(即第二天才能看到前一日的数据分析报表),且技术...

移动数据分析提供用户访问上报原始数据的接口吗?

提供,在 移动数据分析申请开通“云隧道”功能,就可以在ODPS查询采集到的数据,一方面可以做BI分析,另一方面可以ETL数据加工,另外,用户可以通过ODPS访问到自己上传的原始日志是 移动数据分析帮助用户实现日志自主分析闭环的关键。

业务切换流程

如果您未进行业务维度的校验,就将业务的数据库服务切换至目标数据库并恢复业务,可能会存在源和目标数据库数据不一致的风险。由于创建的反向迁移任务会将目标库产生的增量数据实时迁移回源库,如果业务运行出现问题,可随时将业务切换回源...

QuickBI接入mysql数据源报“Connections using ...

产品名称 QuickBI 产品模块 数据源 概述 提供mysql8.0数据源连接报“Connections using insecure transport are prohibited while-require_secure_transport=ON.”的处理办法 问题描述 自建 mysql 8.0 数据库接入到QuickBI中报如下错误:...
来自: 首页

什么是云原生数据仓库AnalyticDB MySQL版

云原生数据仓库AnalyticDB MySQL版是融合数据库、大数据技术于一体的云原生企业级数据仓库服务。AnalyticDB MySQL版支持高吞吐的数据实时增删改、低延时的实时分析和复杂ETL,兼容上下游生态工具,可用于构建企业级报表系统、数据仓库和...

MySQL数据库账号权限管理

MySQL控制台上对数据库大分类组合权限(例如只读、读写、仅DML、仅DDL)进行便捷地管理与维护,但对于自定义各种权限类型组合或授予某些表级别权限等场景,您可以通过DMS推出的数据库账号权限管理功能进行灵活管控。例如: 给A用户授予全局...

购买DTS实例

关于支持的源和目标对应情况,请参见支持的数据库、同步初始化类型和同步拓扑,支持的数据库和迁移类型。DestinationEndpointEngineName String 否 MySQL 目标数据库引擎类型。MySQL:MySQL数据库(包括RDS MySQL和自建MySQL)。PolarDB...

什么是数据传输服务DTS

数据集成功能作为数据迁移功能的延伸,可根据调度策略的配置,定期地将源中的结构和存量数据迁移至目标中,帮助您构建更加灵活的数据仓库(例如构建T+1的周期性仓)。配置RDS MySQL间的数据集成任务 数据集成调度策略说明 数据同步 ...

产品整体介绍

PostgreSQL版提供PB级数据实时交互式分析,ETL/ELT,和BI报表展示功能,支持数据高吞吐实时写入与批量导入,提供ACID保证和标准事务隔离级别,采用MPP全并行架构,是一款具有高性价比的云原生仓产品,提供基于阿里云生态的公共云和混合云...

支持的数据库数据类型

MySQL、DRDS、Oracle的实时增量数据,您可以根据自身业务需求自由消费增量数据,例如缓存更新策略、业务异步解耦、异构数据数据实时同步及含复杂ETL数据实时同步等多种业务场景。数据订阅(旧版)说明 源RDS MySQL和DRDS实例支持公共...

业务切换流程

为最大化地减少数据迁移对业务的影响,您可以参照本文的流程执行业务切换并建立回退方案。前提条件 已配置数据迁移任务,且数据迁移任务处于迁移中或已完成状态,配置案例请参见DTS数据迁移方案概览。注意事项 由于执行业务切换操作需要...
< 1 2 3 4 ... 11 >
共有11页 跳转至: GO

新品推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折

你可能感兴趣

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化

热门推荐

切换为移动版

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折