云原生数仓 AnalyticDB PostgreSQL-应用迁移-自建Greenplum迁移到AnalyticDB PostgreSQL版

AnalyticDB PostgreSQL 6.0版基于Greenplum 6.0构建,并深度优化演进,支持向量化计算,在Multi-Master架构下支持事务处理,对外接口完全兼容社区版Greenplum。整体迁移分为应用迁移和数据迁移,应用层可以实现平滑...

Oracle中的数据是否可以放到云数据库Greenplum版进行...

1.在Oracle端使用sqluldr工具,将需要进行...在云数据库Greenplum版中建立与原Oracle对应数据结构的数据表,参考文档 通过OSS数据导入”,或数据量少的话可以参考文档“通过COPY命令进行数据导入”将数据导入数据仓库。

云数据库Greenplum版用Insert写入数据库时性能慢,...

1.采用原生的 copy 方式入库,参考“通过COPY命令进行数据导入” 注意,这种方式导入数据时,所有数据会通过数据库的主节点(Master)流入子节点,造成主节点的CPU使用率增大,影响系统的性能,同时导入的速度也受...

云原生数仓 AnalyticDB PostgreSQL-产品简介-产品概述

AnalyticDB PostgreSQL版基于开源项目Greenplum构建,由阿里云深度扩展,兼容ANSI SQL 2003,兼容PostgreSQL/Oracle数据库生态,支持行存储和列存储模式。既提供高性能离线数据处理,也支持高并发在线分析查询,是各...

云原生数仓 AnalyticDB PostgreSQL-开发进阶-高级扩展插件使用-HyperLogLog 的使用

阿里云深度优化云数据库 AnalyticDB for PostgreSQL,除原生 Greenplum Database 功能外,还支持 HyperLogLog,为互联网广告分析及有类似预估分析计算需求的行业提供解决方案,以便于快速预估 PV、UV 等业务指标。 ...

云原生数仓 AnalyticDB PostgreSQL-开发入门-JSON&JSONB 数据类型操作

JSON 类型几乎已成为互联网及物联网(IoT)的基础数据类型,AnalyticDB PostgreSQL数据库对JSON数据类型做了完善的支持。并且AnalyticDB PostgreSQL 6.0版支持JSONB类型。这部分介绍对JSON&...

云原生数仓 AnalyticDB PostgreSQL-BI分析及可视化-BI工具兼容概述

AnalyticDB PostgreSQL版基于开源数据库Greenplum构建,兼容Greenplum接口及相关工具,兼容业界主流BI工具,也兼容阿里云提供的Quick BI及DataV等数据智能和展现工具。针对业界主流工具,用户可以选择以Greenplum或...

云数据库 RDS 版-性能白皮书-SQL Server版-测试方法-测试工具

主流的数据库都已经覆盖,例如Oracle、SQL Server、DB2、TimesTen、MySQL、MariaDB、PostgreSQL、Greenplum、Postgres Plus Advanced Server、Redis 和 Trafodion SQL on Hadoop。HammerDB包含一个内嵌的基于TPC-C...

云原生数据仓库AnalyticDB PostgreSQL版-常见问题-如何获取更多技术信息?

本文介绍获取技术内容和支持的途径。...Greenplum Database开源社区官方资料:http://www.greenplum.org 产品技术支持钉钉群(群号:11700737):技术专家在线支持,新特性预告,优惠活动发布[强烈推荐!

云原生数仓 AnalyticDB PostgreSQL-技术白皮书-生态集成

大数据类:Hadoop,MaxCompute,Data Lake等。传统数仓类:Teradata,Greenplum,DB2等。数据库类:Oracle,MySQL,PostgreSQL等。除此之外,云原生数据仓库AnalyticDB PostgreSQL版对JDBC,ODBC,libpq等标准接口...

云原生数仓 AnalyticDB PostgreSQL-数据迁移与同步-概览

您可以在AnalyticDB PostgreSQL版中通过gphdfs协议读写HDFS(Hadoop)集群的数据。仓级迁移 自建Greenplum迁移到AnalyticDB PostgreSQL版 AnalyticDB PostgreSQL 6.0版基于Greenplum 6.0构建,并深度优化演进,支持...

云原生数据仓库AnalyticDB PostgreSQL版-快速入门-客户端连接

psql是Greenplum中比较常用的命令行工具,提供了丰富的命令,其二进制文件在Greenplum安装后的BIN目录下。下载方式: 对于RHEL(Red Hat Enterprise Linux)和CentOS版本的6和7版本的平台,可以通过以下地址进行下载...

云原生数仓 AnalyticDB PostgreSQL-非结构化数据向量分析-向量分析性能测试

python generateGroundTruth.py-limit 1000-input_file/home/greenplum/data/vector_data/gist_data/query_data/gist_query_data.txt-output_file/home/greenplum/data/vector_data/gist_data/groundtruth/...

云原生数仓 AnalyticDB PostgreSQL-BI分析及可视化-帆软FineBI连接

分析型数据库PostgreSQL版基于开源数据库Greenplum构建,兼容Greenplum和PostgreSQL的语法、接口和生态。本文介绍如何通过FineBI连接分析型数据库PostgreSQL版。 前提条件 下载并安装FineBI。 已...

云原生数仓 AnalyticDB PostgreSQL-数据接入-DTS数据迁移及同步方案列表-rds_dbsync迁移/同步...

开源工具 rds_dbsync的pgsql2pgsql功能,支持把AnalyticDB PostgreSQL、Greenplum Database、PostgreSQL、PPAS中的表迁AnalyticDB PostgreSQL、Greenplum Database、PostgreSQL、PPAS。pgsql2pgsql支持的功能 pgsql2...

云原生数仓 AnalyticDB PostgreSQL-BI分析及可视化-Tableau连接

在连接页面选择Pivotal Greenplum Database。在登录页面填写数据库连接信息后单击登录。说明 若连接失败请确认数据库连接信息是否正确,检查数据库白名单是否添加Tableau所在服务器IP地址,确认无误后重新登录。如何...

Dataphin集成任务报错"Canceling query because of ...

问题描述 从Greenplum到Oracle的数据集成任务报错Canceling query because of high VMEM usage是什么原因?问题原因 Postgresql数据库所在服务器虚拟内存不足导致SQL查询失败 解决方案 根据服务器资源配置,适当调大...

云原生数仓 AnalyticDB PostgreSQL-数据管理-视图管理

视图允许用户保存常用的或者复杂的查询。视图没有物理存储,当用户访问时,视图会作为一个子查询运行。 创建视图 使用CREATE VIEW命令创建一个查询的视图。...详情请参考Pivotal Greenplum 官方文档。

如何修改参数?

AnalyticDB for PostgreSQL 用户可以修改连接会话内的参数配置(具体参考 Greenplum 的参数修改限制)。您可以使用命令 ALTER ROLE<用户名>SET<参数名>=<参数值>来修改参数。该参数修改只针对指定的用户生效。如果要...

云原生数仓 AnalyticDB PostgreSQL-常见问题-如何修改参数?

AnalyticDB for PostgreSQL 用户可以修改连接会话内的参数配置(具体参考 Greenplum 的参数修改限制)。 您可以使用命令 ALTER ROLE<用户名>SET<参数名>lt;参数值>来修改参数。该参数修改只针对...

云原生数仓 AnalyticDB PostgreSQL-技术白皮书-数据分析整体趋势

随着Google等互联网企业崛起,以Hadoop为代表的基于传统x86服务器集群的大数据技术迅速发展,同时开源分布式数据库如Greenplum等也成为相应替代方案,为广大中小企业,尤其是互联网行业大大降低了数据分析的技术和...

云原生数仓 AnalyticDB PostgreSQL-数据迁移与同步-从AnalyticDB PostgreSQL版迁移数据-使用OSS...

例如,指定子句“WITH(APPENDONLY=true,ORIENTATION=column,COMPRESSTYPE=zlib,COMPRESSLEVEL=5,BLOCKSIZE=1048576),详细信息,请参见 Greenplum Database 表创建语法官方文档。为了保证数据导入导出的性能,请保证...

云原生数仓 AnalyticDB PostgreSQL-数据接入-数据迁移及同步方案综述

RDS MySQL,PolarDB for MySQL,RDS PostgreSQL、RDS PPAS、MaxCompute、Greenplum Database、以及自建MySQL PostgreSQL 或 Amazon Redshift。除下面所列阿里云方案外,也支持第三方数据同步产品,例如DSG。 ...

云原生数仓 AnalyticDB PostgreSQL-产品简介-6.0 版本介绍

云原生数据仓库PostgreSQL 6.0版是基于开源 Greenplum 6.0 内核构建,基于PostgreSQL 9.4内核。6.0版大幅提升并发事务处理能力,更好的满足实时数仓场景;通过事务锁等优化,完备支持HTAP业务。详细新特性如下: ...

云原生数仓 AnalyticDB PostgreSQL-数据管理-数据库管理

数据库(Database)是表、索引、视图、存储过程、操作符的集合。您可以在一个AnalyticDB PostgreSQL实例中创建多个数据库,但是客户端程序一次只能连接上并且访问一个...更多信息,请参见Pivotal Greenplum 官方文档。

数据库和应用迁移服务 ADAM-用户指南-数据库管理-新建数据库档案

目标数据库:PolarDB O引擎、PolarDB PostgreSQL引擎、RDS MySQL、AnalyticDB PostgreSQL版、Greenplum、PolarDB-X、RDS PostgreSQL。操作步骤 本文以PolarDB O引擎数据库为例,创建数据库实例方法请参见创建实例,...

ETL工具支持概览

支持的ETL工具见下,可以同时参见更详细的同步方案列表数据迁移及同步方案综述: 数据传输服务(DTS):阿里云提供的实时数据同步服务,可以将其他数据源(RDS MySQL,ECS自建MySQL,...其他支持Greenplum的ETL工具。

云原生数仓 AnalyticDB PostgreSQL-数据管理-Schema管理

Schema是数据库的命名空间,它是一个数据库内部的对象(表、索引、视图、存储过程、操作符)的集合。Schema在每个数据库中是唯一的。每个数据库都有一个名为public的默认...详情请参考Pivotal Greenplum 官方文档。

云原生数仓 AnalyticDB PostgreSQL-数据接入-OSS外表高速导入或导出OSS数据

OSS为阿里云对象存储服务,云原生数据仓库AnalyticDB PostgreSQL版支持通过OSS外部表(即gpossext功能),将数据并行从OSS云存储导入或导出到OSS云存储,并支持通过gzip进行OSS外部表文件压缩,大量节省存储空间及...

云数据库 RDS-RDS PostgreSQL 数据库-最佳实践-设置PostgreSQL排序规则(Collation)

初始化数据库集群时,可以设置数据库的字符串排序、字符归类方法、数值格式、日期格式、时间格式、货币格式等。另外,为了支持国际化,数据库通常会涉及到LC_COLLATE和LC_CTYPE的概念。LC_COLLATE ...

云原生数仓 AnalyticDB PostgreSQL-产品简介-4.3 版本介绍

AnalyticDB PostgreSQL 4.3版基于开源MPP数据库Greenplum 4.3版本构建,基于PostgreSQL 8.2内核引擎。基本功能 具有 Geenplum Database 的核心功能,详情参见文档说明。支持独有的MetaScan和SortKey技术,详情参加列...

云原生数仓 AnalyticDB PostgreSQL-开发进阶-高级扩展插件使用-Laser计算引擎的使用

Laser计算引擎是阿里巴巴自研的计算引擎,对用户透明,可以提升复杂计算的性能,经实测,在1 GB、100 GB、1 TB、10 TB数据规模下,性能是原生Greenplum的2倍以上。 功能限制 建议使用ORCA优化器。 ...

云原生数仓 AnalyticDB PostgreSQL-技术白皮书-产品整体介绍

AnalyticDB PostgreSQL版支持JDBC/ODBC连接,支持SQL 2003语法标准,兼容PostgreSQL,Greenplum,和部分Oracle语法。同时提供PL/pgSQL存储过程,以及Java/Python UDF。另外在SQL基础上,支持Apache MADLib机器学习,...

云原生数仓 AnalyticDB PostgreSQL-开发入门-用户权限管理

使用psql(PostgreSQL或Greenplum的客户端工具)连接数据库后,通过\du+命令可以查看所有用户的信息,示例如下: 注意 除了根用户外,还有其他内部管理用户被创建。postgres=gt;\du+返回结果如下:List of roles ...

云原生数仓 AnalyticDB PostgreSQL-开发进阶-高级扩展插件使用-扩展插件列表

云原生数据仓库AnalyticDB PostgreSQL版基于Greenplum Database开源数据库项目开发,由阿里云深度扩展,是一种在线的分布式云数据仓库服务,由多个计算节点组成,可提供大规模并行处理(MPP)数据仓库的服务。...

数据库审计-产品简介-什么是数据库审计

数据库审计服务是一款专业、主动、实时监控数据库安全的审计产品,可用于审计阿里云平台中的RDS云数据库、ECS自建数据库和NoSQL数据库。数据库审计服务将数据库监控、审计技术与公共云环境相结合,针对数据库SQL注入...

数据传输服务 DTS-API参考-新版API(推荐)-购买DTS实例

调用CreateDtsInstance接口购买DTS实例。请确保在使用该接口前,已充分了解云数据库DTS产品的收费方式和价格。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer...

云原生数仓 AnalyticDB PostgreSQL-数据接入-DTS数据迁移及同步方案列表-rds_dbsync迁移/同步...

rds_dbsync为开源的数据同步迁移工具,其mysql2pgsql功能支持不落地的把MySQL中的表迁移到AnalyticDB PostgreSQL/Greenplum Database/PostgreSQL/PPAS。此工具的原理是,同时连接源端MySQL数据库和目的端数据库,从...

云原生数仓 AnalyticDB PostgreSQL-开发入门-数据类型

AnalyticDB PostgreSQL支持丰富的数据类型,您还可以使用CREATE TYPE命令定义新的数据类型。AnalyticDB PostgreSQL内建的数据类型 下表显示了AnalyticDB PostgreSQL内建的数据类型。名称 别名 存储大小 ...

云原生数仓 AnalyticDB PostgreSQL-数据管理-数据表管理

AnalyticDB forPostgreSQL数据库中的表与任何一种关系型数据库中的表类似,不同的是表中的行被分布在不同Segment上,表的分布策略决定了在不同Segment上面的分布情况。...详情请参考Pivotal Greenplum 官方文档。

数据传输服务 DTS-API参考-旧版API(即将停止维护)-数据迁移-配置迁移实例

调用ConfigureMigrationJob接口配置数据迁移实例。本接口调用成功后,将自动启动数据迁移任务,您无需手动调用StartMigrationJob接口。...Greenplum:阿里云云原生数据仓库AnalyticDB PostgreSQL。...

云原生数仓 AnalyticDB PostgreSQL-数据管理-索引管理

本文介绍云原生数据仓库AnalyticDB PostgreSQL版的索引类型和相关操作。索引类型 云原生数据仓库AnalyticDB PostgreSQL版支持如下索引类型: ...更多关于索引的信息,请参见Pivotal Greenplum 官方文档。

云原生数仓 AnalyticDB PostgreSQL-数据管理-物化视图管理

物化视图类似于视图,允许用户保存经常使用的或复杂的查询。物化视图有实际的物理储存,但不支持直接写入更新数据。在查询中引用物化视图时,数据直接从物化视图返回...更多信息详情请参考Pivotal Greenplum 官方文档。

云原生数仓 AnalyticDB PostgreSQL-最佳实践-通过 HyperLoglog 实现高性能多维数据透视

使用Greenplum的一级、二级分区,将透视数据的访问需求打散到更小的单位,然后使用标签索引,再次降低数据搜索的范围,从而做到任意数据量,任意维度透视请求100毫秒以内响应。使用列存储,提升压缩比,节省统计数据...

云原生数仓 AnalyticDB PostgreSQL-数据管理-表分区定义

将大表定义为分区表,从而将其分成较小的存储单元,根据查询条件,会只扫描...分区表支持多种分区管理操作,包括新增分区,删除分区,重命名分区,清空截断分区,交换分区,分裂分区等,详情请参考Greenplum 官方文档。

云原生数仓 AnalyticDB PostgreSQL-应用迁移-Oracle应用迁移至AnalyticDB PostgreSQL

AnalyticDB PostgreSQL对Oracle语法有着较好的兼容,本文介绍如何将Oracle应用迁移到AnalyticDB PostgreSQL。基于ora2pg完成初步转换工作 可以使用开源工具ora2pg进行最初的Oracle应用转换。您可以使用ora2pg将...

数据传输服务 DTS-API参考-新版API(推荐)-配置DTS迁移或同步任务

调用ConfigureDtsJob接口配置一个迁移或同步任务。配置前,您需先调用CreateDtsInstance接口购买DTS实例。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以...

云原生数仓 AnalyticDB PostgreSQL-调优指南-实例选型和集群规划

6.0标准版:标准引擎,基于原生Greenplum内核深度定制开发,适用于通用业务场景。6.0向量增强版:在标准引擎基础上,增强支持非结构化向量数据的检索和分析能力,适用于以图搜图,声纹识别,语义文本检索,电商商品...

三张图读懂Greenplum在企业的正确使用姿势

阿里云的用户可以购买SATA+SSD混合存储的Greenplum,以非常高的性价比获得PB级的数据仓库(公测阶段只提供纯SSD的版本)。用户可以使用ETL工具,或者mysql2pgsql,pgsql2pgsql将数据增量或全量的从MySQL或PgSQL同步到...

ApsaraDB For Greenplum试用指南

PostgreSQL 8.3devel(Greenplum Database 4.3.99.00 build dev)compiled on May 10 2016 01:19:10(1 row)postgres=>``` 其中,“-h”指定主机地址,“-p”指定端口号,“-d“指定数据库(默认的数据库是postgres),...

从 oss 装载数据到 GreenPlum

gpossext 在阿里云上,支持通过 gpossext 并行装载数据到 Greenplum 中#gpossext 语法 ``` CREATE [READABLE]EXTERNAL TABLE tablename(columnname datatype[,.]Redistribute Motion 4:4(slice1;segments:4)(cost=0....

Greenplum 的Oracle兼容性之-orafunc

Greenplum gpAux下面有一个插件是orafunc,包含了常用的oracle函数:``` add_months bitand concat cosh decode dump instr last_day listagg lnnvl months_between nanvl next_day nlssort nvl nvl2 oracle.substr ...

Greenplum数据库,分布式数据库,大数据

目前使用greenplum数据有将近一年的时间,感觉GP用的挺少的,是一个比较偏的产品。不过随着开源后应该会在olap的应用场景越来越流行,当你看到这个博客的时候应该就在用gp了,你们都是哪些公司的?欢迎盖楼留言。

谈谈Deepgreen(Greenplum)中文编码

概念*-Deepgreen和Greenplum是基于PostgreSQL 8.2版本。PostgreSQL 8.2能够以各种字符集存储文本,比如 ISO-8859 系列和 EUC(扩展 Unix 编码)、UTF-8、Mule 国际编码。缺省的字符集是在使用 initdb 初始化数据库集群...

PostgreSQL和Greenplum的临时表空间介绍

Greenplum将只有filespace的说法,并且临时文件是全局管理的,也就是说整个GP集群的临时文件是放在一个地方(filespace)的。在Greenplum中不同的用户不能使用不同的临时文件目录。默认情况下临时文件是放在默认的表...

Greenplum企业应用实战》一1.5 小结

本节书摘来自华章出版社《Greenplum企业应用实战》一书中的第1章,第1.6节,作者 何勇 陈晓峰,更多章节内容可以访问云栖社区“华章计算机”公众号查看 1.5 小结 本章非常简短地介绍了Greenplum产生的背景,并分别...

Greenplum 激活standby master失败后的异常修复

gpstart:digoal_host:digoal-[INFO]:Greenplum Binary Version:'postgres (Greenplum Database)4.3.6.1 build 2' 20151222:16:49:41:073138 gpstart:digoal_host:digoal-[INFO]:Greenplum Catalog Version:'...

Greenplum行存与列存的选择以及转换方法

3.在数据仓库产品中,如Greenplum,支持行存,也支持列存。还有很多存储格式,本文将讨论行存和列存应该如何选择呢?行存储优劣分析 Greenplum行存储(堆表)的优势在哪里?数据顺序写入BLOCK中,持续写入的情况下,一...

Greenplum failed segment的恢复方法

gprecoverseg:digoal:digoal-[INFO]:master Greenplum Version:'PostgreSQL 8.2.15 (Greenplum Database 4.3.6.1 build 2)on x86_64-unknown-linux-gnu,compiled by GCC gcc(GCC)4.4.2 compiled on Oct 1 2015 15:14...

Greenplum 表空间和filespace的用法

``` Greenplum支持表空间,创建表空间时,需要指定filespace。postgres=\h create tablespace;Command:CREATE TABLESPACE Description:define a new tablespace Syntax:CREATE TABLESPACE tablespace_name[OWNER ...

Greenplum 2000亿 近似度查询 性能 以及注意事项

greenplum和PostgreSQL一样,都是通过pg_trgm来支持近似度查询的。原理是将字符串前加2空格,末尾加1空格,然后按照3个连续的字符串为一组,打散成多个字符串。然后计算字符串的重复度来计算两个字符串的相似度。...

为什么Greenplum 的CPU有大量是%ni的占用

在使用Greenplum的过程中,发现CPU监控有大量的%ni的占比。ni是指低优先级的用户模式,通过setpriority可以设置进程的优先级。数字越大,优先级越低。TOP中CPU统计的分类解释如下:``` 2c. SUMMARY Area Fields The ...

Greenplum企业应用实战》一2.4 小结

本节书摘来自华章出版社《Greenplum企业应用实战》一书中的第2章,第2.4节,作者 何勇 陈晓峰,更多章节内容可以访问云栖社区“华章计算机”公众号查看 2.4 小结 本章主要介绍了Greenplum的安装和部署,以及一些...

Greenplum5.0 最佳实践》SQL 转换

改变 SQL 查询*Greenplum*数据库是基于代价的查询优化,查询优化器会选择代价最小的作为执行计划。像其他的 RDBMS 优化器一样, Greenplum的查询优化器也会考虑如下因素,例如做连接操作涉及的记录数量,索引是否...

Greenplum 自定义复合类型 数组

标签 PostgreSQL,Greenplum,composite type array 背景 如果你现在要在Greenplum中创建一个复合类型,是不会自动给你创建对应的数组类型的。(而实际上PostgreSQL 在2007年已经支持了这个功能) Greenplum需要等到5.0...

如何评估Greenplum master 空间以及segment元数据占用...

Greenplum master节点是用来存储元数据的,包括:序列,表,临时表,分区,函数,视图,类型,操作符,规则,触发器 等。segment 上也会存储部分元数据,序列,表,临时表,函数,视图,类型,操作符,规则,触发器 ...

Greenplum列存压缩表事务机制

Greenplum列存表原理里面我们已经提到,并发导入是靠多个文件实现,也就是说每个Insert连接只会负责一个列文件,假设事务开始的时候文件EOF为EOF_start, 导入后变成EOF_end,如果事务回滚,辅助Heap表里面记录的...

详解开源大数据引擎Greenplum的架构和技术特点

基于开源的PostgreSQL改造,主要用来处理大规模数据分析任务,相比HadoopGreenplum更适合做大数据的存储、计算和分析引擎。GPDB是典型的Master/Slave架构,在Greenplum集群中,存在一个Master节点和多个Segment...

Greenplum plpgsql函数中exit存在无法跳出循环的BUG

Greenplum中如果使用循环,并且内部嵌套了子块,在子块中的exit只能跳出子块,不能跳出子块外面的循环。``` CREATE OR REPLACE FUNCTION test1(i integer)RETURNS integer AS$DECLARE count int;BEGIN count 1;LOOP ...

Greenplum企业应用实战》一3.6 小结

本节书摘来自华章出版社《Greenplum企业应用实战》一书中的第3章,第3.6节,作者 何勇 陈晓峰,更多章节内容可以访问云栖社区“华章计算机”公众号查看 3.6 小结 本章简单介绍了基于Greenplum数据库实现数据库数据...

一起来读Greenplum/Deepgreen执行计划

Greenplum和Deepgreen中,运行*EXPLAIN* 后产生的执行计划呈树状,这棵树的每一个分叉,都代表了一个单独的数据库操作,例如:表扫描、表连接、聚合、排序。由于返回数据行数是从下向上传递的,所以我们在分析执行...

Greenplum 点查询的优化(分布键)

标签 PostgreSQL,Greenplum,分布式查询,分布式执行计划,点查 背景 Greenplum是分布式数据库,在建表时,可以指定随机分布、或按指定字段或多个字段进行分布。因此在做点查时,Greenplum可以根据WHERE条件来判断是...

如何把数据从 Mysql 导入到 Greenplum

本文介绍给大家几个把数据从 Mysql 导入到 Greenplum 的方法 自阿里云推出 Greenplum 服务以来,很多公测用户希望把自己在 Mysql 中的数据放到 Greenplum 用于进行数据分析。而且很多客户的数据量相当大。在这里我向...

Greenplum 函数内嵌套查询在query中调用的替代方案

使用Greenplum时,可能需要注意,因为如果函数中有QUERY,但是这个函数又在QUERY中调用的话,可能会报错。目前执行计划还不支持这种查询:``` dwh=>select f1(id)from tab;ERROR:XX000:function cannot execute on ...

HybridDB for PostgreSQL(Greenplum)有哪些内核扩展

对于复杂的分析系统,一条或者几条SQL难以满足用户的需求,Greenplum原生支持plpgsql实现UDF(用户自定义函数),用户可以可以通过plpgsql存储过程实现复杂的SQL逻辑,然而对于学java或者python的程序猿简直要命,...

Deepgreen&Greenplum DBA小白普及课之三(备份问题...

Greenplum时经常会遇到的问题提出解决思路/答案,本篇主要讲备份方面的问题。希望对大家有所帮助,如果有朋友有更多的问题分享,请留言,我将一并整理。1.简单描述一下Deepgreen&Greenplum的备份架构?当我们执行全...

PostgreSQL、Greenplum DML合并操作 最佳实践

标签 PostgreSQL,Greenplum,合并删除,合并更新,合并DML 背景 在很多场景中会涉及到数据的合并,比如 1. 某业务系统的总用户有1亿,每天的活跃用户有100万,新增用户10万,每天需要将新增、活跃用户的数据(比如他们...

Greenplum并行备份恢复到配置不同的新集群

Greenplum中,我们可以使用*gp_restore*或者*gpdbrestore* 对数据库进行并行恢复,但是并行恢复要求要恢复的新集群与备份集群拥有同样的配置(节点实例数量)。但是如果我们的新集群节点数与原集群不一样怎么办?...

将在线数据加载到阿里云Greenplum

本文说明如何设计一个 ETL 作业以便将在线关系数据库里的数据,加载到阿里云的Greenplum 数据库中,如何调度和监控该ETL 作业的日常运行。本文使用的软件是开源ETL 工具软件 Kettle 5.x,以及基于Kettle的傲飞数据...

GPDB·特性分析·Greenplum 备份架构

Greenplum是分布式数据库,这为备份带来了一些困难。其本身提供了一个工具是gpcrondump,对其二进制备份工具gp_dump做了一些封装,而gp_dump则是对pg_dump做了封装,在每个节点上执行pg_dump完成数据的备份。在其每...

Greenplum ao表和heap表垃圾回收的细微差别

标签 PostgreSQL,Greenplum,垃圾回收,vacuum 背景 在Greenplum中删除、更新数据记录时,会产生新的tuple版本,老的版本通过行头部标记:为已删除以及被哪个事务删除的。因此频繁的更新后,或者批量的删除数据后,...

Greenplum通过gp_dist_random('gp_id')在所有节点调用...

使用greenplum时,如果需要调用一个函数,这个函数很可能就在master执行,而不会跑到segment上去执行。例如 random()函数。通过select random()来调用的话,不需要将这条SQL发送到segment节点,所以执行计划如下,...

Greenplum,HAWQ outer join与motion问题讲解

Greenplum,HAWQ outer join与motion问题讲解 作者 digoal 日期 2016-09-05 标签 PostgreSQL, HAWQ,Greenplum,OUTER JOIN,Motion 背景 Greenplum,HAWQ是分布式的数据库,在建表时,我们可以选择分布列,或者选择随机...

PostgreSQL Greenplum crash 后临时表引发的BUG-暨...

PostgreSQL 和 Greenplum 都支持临时表。在使用临时表时,如果数据库crash,临时表不会被自动清除,这样可能会埋下隐患,隐患爆发时是非常危险的。问题在哪呢?因为vacuum freeze不处理其他会话创建的临时表,仅仅...

Greenplum列存压缩表原理

用法 ``` create table testao(id int,name text)with(APPENDONLY=true, ORIENTATION=column,COMPRESSTYPE=zlib,COMPRESSLEVEL=5,BLOCKSIZE=1048576, OIDS=false)``` APPENDONLY=true,ORIENTATION=column这两个属性...

PostgreSQL 和 Greenplum pgcrypto 加解密bytea处理...

'UTF8')some text represented in the UTF8 encoding Greenplum 加解密 Greenplum 早期的版本基于PostgreSQL 8.2改进而来,还没有convert_from函数。加密举例 postgres=select encrypt('abcde':bytea,'hello_key':...

Greenplum explain analyze 解读+深度明细开关

标签 PostgreSQL,Greenplum,explain analyze,解读,深度明细, explain_memory_verbosity,gp_enable_explain_allstat 背景 解读Greenplum 的explain analyze输出。同时介绍两个深度明细开关explain_memory_verbosity,...

Greenplum 通过gpfdist+EXTERNAL TABLE 并行导入数据

Greenplum 提供了快速导入数据的方法,下面通过一个例子演示给大家.我们用TPCH测试中最大的表做导入测试 首先简单介绍下原理.1) Greenplum 通过外部表的方式让所有 segment 同时连接到一组外部服务 gpfdist,同时拉取...

Deepgreen&Greenplum DBA小白普及课之一(一般问题...

Greenplum时经常会遇到的普通问题进行解答。希望对大家有所帮助,如果有朋友有更多的问题分享,请留言,我将一并整理。下面单刀直入,开始问题浏览及解决思路梳理:1.如何检查一张表的分区策略?测试表:region 表的...

Deepgreen(Greenplum)数据表集中Analyze脚本

exec_get_nopartitions=$(/app/greenplum-db-4.1.1.1/bin/psql-h 127.0.0.1-p 5432 d rwnas-U rwnas-t-c"$")echo"$">nopartitions_tables.txt echo"- No Partitions Tables List Below-"nopartitions_file=$(cat ...

HybridDB for PG、Greenplum 排序nulls first|last的 ...

标签 PostgreSQL,Greenplum 背景 Greenplum并不支持nulls first或last语法,例如:select*from tbl order by id nulls first;select id,last_value(key)over(partition by gid order by crt_time nulls first)from ...

Deepgreen&Greenplum DBA小白普及课之四(性能问题...

Greenplum时经常会遇到的问题提出解决思路/答案,本篇主要讲性能方面的问题。希望对大家有所帮助,如果有朋友有更多的问题分享,请留言,我将一并整理。1.我的SQL查询昨天性能还不错,到今天就变得非常慢了,我该...

Greenplum数据增量导入的唯一值自增处理

阿里云的Greenplum(以下简称GP)已经公测了一段时间,陆续接到很多用户的反馈。其中一些使用上的问题比较有趣,在这里与大家分享一下。其中一个case是字段的唯一键和自增值问题。在导入GP之前,某id字段已经保证了...

Greenplum5.0 最佳实践》高可用性<1>

高可用性*Greenplum*数据库集群支持高可用,容错性数据服务。为了保证所需要的服务级别,每个组件都必须有一个备用的服务器, 避免发生故障没有有效的准备。磁盘存储*Greenplum*数据库是"Shared-nothing"MPP 架构,...

Greenplum 最佳实践-什么时候选择bitmap索引

标签 PostgreSQL,Greenplum,bitmap index 背景 PostgreSQL 目前支持8种索引接口,包括B-Tree, hash,gin,gist,sp-gist,brin,rum,bloom。Greenplum 目前支持B-Tree,GiST, bitmap三种索引接口。用户可以根据不同的数据...

Greenplum5.0 最佳实践》系统参数(二)

Greenplum 数据库最佳实践》系统参数配置#系统配置 本章主要描述在Greenplum部署之前,系统参数的配置#文件系统 (File System)推荐使用XFS作为Greenplum默认文件系统,目前redhat,Centos 7.0 都开始使用XFS作为默认...

曾文旌的私房菜:开源数据库Greenplum Database的实现...

Greenplum DB 号称是世界上第一个开源的大规模并行数据仓库,最初是基于 PostgreSQL,现在已经添加了大量数据库方面的创新。Greenplum 提供 PD 级别数据量的强大和快速分析能力,特别是面向大数据方面的分析能力,...

Greenplum TPC-H测试

done ``` 在greenplum数据库中创建数据库和用户(也可以不创建,只要有就可以)``` psql postgres=create role digoal login;CREATE ROLE postgres=create database postgres template template0 owner digoal;...
< 1 2 3 >
跳转至: GO
新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折