面临的业务挑战

系统复杂 大数据平台普遍存在使用复杂的问题。用户希望专注于核心业务,而非底层技术。用户希望使用的是“开箱即用”的方案,而不是陷入到高昂的学习成本、繁复的技术细节之中。用户渴望拥有一个简单易用的平台。此外,大数据平台的组合...

功能概览

可解决企业批处理复杂大数据的难题,支持企业精细化运营、数据营销、智能推荐等大数据业务场景。离线集成概述 流式ETL 帮助您实现流式数据地抽取、数据转换和加工、数据装载。丰富企业实时数据处理和计算场景,赋能企业数字化转型。什么是...

应用场景

实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接入APP、WEB、IoT和数据库等产生的异构数据,统一管理,并投递到下游的分析、归档等系统,构建清晰的数据流,让您更好的释放数据的价值。...

产品简介

大数据专家服务 大数据专家服务(Bigdata Expert Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...

功能概览

1.4 生态融合 系出飞天,与阿里云大数据系统深度整合,无缝对接MaxCompute、实时计算、交互式分析等产品,打通整个大数据体系。2.产品功能 2.1 数据接入 提供多种SDK、API和Flume、Logstash等第三方插件,让您高效便捷的把数据接入到数据...

自媒体:易撰

PolarDB-X 专注解决海量数据存储、超高并发吞吐、表瓶颈以及复杂计算效率等数据库瓶颈问题,历经各届天猫双十一及阿里云各行业客户业务的考验,助力企业加速完成业务数字化转型。本文介绍易撰如何通过 PolarDB-X 应对业务挑战。所属行业...

生态集成

云原生数据仓库AnalyticDB PostgreSQL版 具备完善和开放的生态系统,支持无缝对接业界以及阿里云生态的数据管理工具,BI报表可视化工具,ETL工具,数据迁移工具,同时可以与业界流行的流式处理系统,日志类系统大数据系统,传统数仓及...

应用场景

前端的监控系统大数据处理系统会利用 TSDB 的数据查询和计算分析能力进行业务监控和分析结果的实时展现。电力化工及工业制造监控分析 传统电力化工以及工业制造行业需要通过实时的监控系统进行设备状态检测,故障发现以及业务趋势分析。...

概述

背景信息 在大数据生态系统中,Alluxio位于数据驱动框架或应用(例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等)和各种持久化存储系统(例如HDFS和阿里云OSS)之间,使得上层的计算应用可以通过统一的客户端API和...

创建Hudi数据

背景信息 Hudi即Apache Hudi,Hudi是一个通用的大数据存储系统,将核心仓库和数据库功能直接引入到数据库中,并支持记录级别的插入更新和删除数据的能力。更多信息,请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...

创建Teradata数据

背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata,在对接Dataphin进行数据开发或导出Dataphin数据至Teradata,您需要先完成Teradata数据源的创建。更多Teradata信息,请参见 Teradata官网。权限说明 Dataphin仅支持 超级...

PolarDB HTAP实时数据分析技术解密

其在大数据量上运行复杂查询的性能可以与Oracle、SQL Server等业界商用数据系统处在同一水平。In-Memory Column Index的技术架构 行列混合的优化器 PolarDB原生有一套面向行存的优化器组件。在引擎层增加列存功能后,此部分需要进行功能...

Java UDAF

支持的数据类型为BIGINT、STRING、DOUBLE、BOOLEAN、DATETIME、DECIMAL、FLOAT、BINARY、DATE、DECIMAL(precision,scale)、CHAR、VARCHAR、复杂数据类型(ARRAY、MAP、STRUCT)或复杂数据类型嵌套。arg_type_list 还支持星号(*)或为空('...

JindoData概述

JindoData是阿里云开源大数据团队自研的数据湖存储加速套件,面向大数据和AI生态,为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现,主要包括JindoFS存储系统(原JindoFS Block模式)、...

数据服务入门

步骤一:创建数据源并配置网络连通性 使用数据服务创建API前,您需将数据库或数据仓库添加为DataWorks的数据源,并保障数据服务资源组与您的目标数据源网络连通,以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...

概述

数据组织 ZooKeeper的数据组织方式与标准文件系统类似,组织成类似文件树的结构,在ZooKeeper中使用znode(ZooKeeper node)来描述文件,与标准文件系统不同的是,znode并不区分目录或者文件的概念,每个znode都可以存储数据。ZooKeeper...

DataWorks On EMR使用说明

背景信息 开源大数据开发平台E-MapReduce(简称EMR),是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...

支持的云服务

AnalyticDB for MySQL 云原生数据仓库 AnalyticDB MySQL 版(AnalyticDB for MySQL)是海量数据实时高并发在线分析(Realtime OLAP)云计算服务,与MaxCompute结合应用于大数据驱动业务系统的场景。通过MaxCompute离线计算挖掘,产出高质量...

大数据用户画像解决方案

用户画像数据具有如下特征:数据、高并发读写、明细数据需要归档、大数据量回流、有动态列需求、查询种类多而且复杂。方案总览 作为面向大数据场景的半结构化、结构化存储系统,Lindorm可以很好的满足用户画像:没有强事务要求,大数据...

点热力层(v3.x版本)

如果系统反应延迟,您可以单击右侧的 图标,查看数据响应结果,也可以单击右侧的 图标,获取组件的最新数据。您也可以单击查看示例,查看当前组件的响应结果示例。禁止加载态 勾选复选框,在组件更新和预览数据看板时,将看不到组件初始化...

点热力层(v3.x版本)

数据源 单击 配置数据源,可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果,详情请参见 配置资产数据数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...

DB2数据

否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数,该值决定了数据同步系统和服务器端的网络交互次数,能够较的提升数据抽取性能。说明 fetchSize 值过(>2048)可能造成数据同步进程OOM。否 1024 Writer脚本...

Vertica数据

Vertica是一款基于列存储的MPP架构的数据库,Vertica...否 无 batchSize 一次性批量提交的记录数大小,该值可以极减少数据同步系统与Vertica的网络交互次数,并提升整体吞吐量。如果该值设置过,会导致数据同步运行进程OOM异常。否 1,024

GBase8a数据

GBase8a数据源为您提供读取和写入GBase8a双向通道的...否 无 batchSize 一次性批量提交的记录数大小,该值可以极减少数据同步系统与Gbase8a的网络交互次数,并提升整体吞吐量。如果该值设置过,会导致数据同步运行进程OOM异常。否 1,024

ClickHouse数据

ClickHouse数据源为您提供读取和写入ClickHouse...否 无 batchSize 一次性批量提交的记录数大小,该值可以极减少数据同步系统与ClickHouse的网络交互次数,并提升整体吞吐量。如果该值设置过,会导致数据同步运行进程OOM异常。否 1,024

SQL Server数据

SQL Server数据源为您提供读取和写入SQL ...否 insert batchSize 一次性批量提交的记录数大小,该值可以极减少数据同步系统与SQL Server的网络交互次数,并提升整体吞吐量。如果该值设置过,会导致数据同步运行进程OOM异常。否 1,024

Oracle数据

Oracle数据源为您提供读取和写入Oracle双向通道的功能,方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读(Oracle Reader)离线写(Oracle ...

列存索引(IMCI)发布说明

PolarDB MySQL版 重磅推出的列存索引(In-Memory Column Index,简称IMCI)面向OLAP场景大数据复杂查询。通过列存索引,PolarDB MySQL版 实现了一体化的实时事务处理和实时数据分析的能力,成为一站式HTAP数据库产品解决方案。通过一套...

概述

PolarDB MySQL版 重磅推出的列存索引(In-Memory Column Index,简称IMCI)面向OLAP场景大数据复杂查询。通过列存索引,PolarDB MySQL版 实现了一体化的实时事务处理和实时数据分析的能力,成为一站式HTAP数据库产品解决方案。通过一套...

Data API功能简介

使用RDS Data API Service,可以将数据持久层从业务逻辑中抽离出来,极地降低业务系统复杂度,从而降低系统风险。架构图 安全认证体系 RDS Data API Service使用AK/SK+ARN(Aliyun Resource Name)的鉴权模式。用户无需在应用程序中...

应用场景

数据库MongoDB版支持单节点、副本集和分片集群三种部署架构,具备安全审计、时间点备份等多项企业能力。在互联网、物联网、游戏、金融等...大数据应用:使用云数据库MongoDB作为大数据的云存储系统,随时进行数据提取分析,掌握行业动态。

数据分析整体趋势

Hadoop也在早期的MapReduce接口基础上增加了SQL接口,SQL语法逐渐成为大数据分析系统的标准配置。随着AWS,Azure,Alibaba,Google等云厂商的出现,云原生分布式数据仓库成为目前数据分析技术的主要解决方案,代表性云服务包括Amazon ...

减灾与应急时空解决方案与案例

数据系统上云过程前,遇到了如下挑战:长期积累的时空数据类型多、数据量巨大,包括中国和全球地震、地质、台风、洪水、高温、低温、暴雨、雪灾、森林和草原火灾等灾种中高精度风险地图数据,台风、地震、滑坡、森林草原火灾等全球准...

图扑案例

为适应日趋复杂化多样化的终端设备、边缘设备、传感器以及第三方系统数据源采集、上报的异构数据,如图3所示,阿里 云原生多模数据库 Lindorm 在云端单实例融合了宽表、索引、时序等多种数据引擎能力,通过阿里云DTS/DMS或第三方开源数据...

快速体验

DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力,本文以一个零售电商行业的数仓搭建实验为例,为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现,帮助您深入了解阿里云...

亿海蓝-航运大数据的可视化案例

亿海蓝有17年AIS(船舶自动识别系统数据积累,每日AIS数据增量约10亿。用户需要对历史年份数据进行分析,时间跨度。业务实现技术复杂度高。业务涉及数据种类多,亿海蓝对这些业务数据使用了多种存储引擎。解决方案 DLA Ganos 引擎对...

产品和业务限制

限制项 描述 例外申请方式 购买分析型数据库MySQL版的限制 账户余额大于等于500元现金 请联系技术支持 开通分析型数据库MySQL版的用户限制 用户需实名认证 无 可创建的最大分析型数据库MySQL版数 3个 联系技术支持申请更多 单个分析型数据...

公交出行:启迪公交

PolarDB-X 专注解决海量数据存储、超高并发吞吐、表瓶颈以及复杂计算效率等数据库瓶颈问题,历经各届天猫双十一及阿里云各行业客户业务的考验,助力企业加速完成业务数字化转型。本文介绍启迪公交如何通过 PolarDB-X 应对业务挑战。所属...

东软案例

企业面向客户、合作伙伴和内部员工建设IT系统及应用复杂度和数量会随着产品智能、互联化的深入持续增长,对映可用性保障运维监控采集数据采集种类,以及需要存储的数据量同步激增,现有监控系统基于RRD数据库或关系数据库搭建的单模引擎的...

高压缩引擎(X-Engine)介绍

随着业务发展,数据系统中会积累大量访问频率很低甚至为0的数据,这些数据的积累容易导致如下问题:历史数据和最新数据存储在同一数据系统中,导致磁盘空间不足。大量数据共享数据系统的内存、缓存空间、磁盘IOPS等,导致性能问题。...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 云数据库 Redis 版 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用