产品架构

数据订阅的工作原理 数据订阅支持实时拉取RDS实例的增量日志,用户可以通过DTS提供的SDK数据订阅服务端来订阅增量日志,同时可以根据业务需求,实现数据定制化消费。DTS服务端的日志拉取模块主要实现从数据源抓取原始数据,通过解析、过滤...

工作原理

工作原理 本地安装一个数据库网关代理(database gateway agent)。数据库网关代理负责与数据库网关云端服务(database gateway cloud service)建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后,当您...

大数据安全治理的难点

通常,大数据系统中的工作流涉及多部门、多责任人且跨系统的数据,如何才能协调好这些业务系统准时、保质保量地产出数据,避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据,关乎到企业数据业务的连续性问题甚至高层的信任问题...

E-MapReduce本地盘实例规模数据集测试

本文介绍如何使用阿里云E-MapReduce搭建本地盘机型集群节点,并进行大数据基准性能测试。应用范围 需要使用阿里云E-MapReduce+本地盘进行大数据业务前进行性能测试的用户。需要将线下自建大数据集群迁移到阿里云云上E-MapReduce+本地盘进行...

应用场景

应用场景 1.实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线,您可以实时接...大数据实时化 数仓是大数据的基础,实时化的数仓能够让BI、报表、推荐(用户标签产出)等多种业务收益,大数据系统总体向实时化迈进。

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时与...

应用场景

访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理,适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步,简化数据操作流程。

基于MaxCompute进行大数据BI分析

方案介绍 基于MaxCompute进行大数据BI分析的流程如下:通过数据集成同步业务数据和日志数据至MaxCompute。通过MaxCompute、DataWorks对数据进行ETL处理。同步处理后的结果数据至AnalyticDB for MySQL。通过Quick BI可视化建立用户画像。...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力,本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业:全行业...

Napatech案例

Lindorm支持海量数据的低成本存储、快速批量导入和实时访问,具备高效的增量及全量数据通道,可轻松与各类大数据平台集成,完成数据的大规模离线分析。基于Lindorm的解决方案,用户在采用到100Gbps+流量产生的大量数据包元数据直接通过...

自媒体:易撰

所属行业:自媒体 网站地址:易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商,其旗下知名品牌易撰,基于新媒体大数据挖掘技术及NLP算法分析,为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...

什么是EMR on ECS

EMR on ECS将EMR的大数据处理功能与ECS的容器化部署优势相结合,使得您可以更加灵活地配置和管理EMR集群,从而更好地适应复杂的数据处理和分析场景。通过EMR on ECS,您可以快速创建、管理和运维EMR集群,同时也能够更加高效地使用计算和...

数据分析整体趋势

大数据与数据库一体化:早期大数据技术以牺牲一定程度一致性为基础提供分布式能力,解决了传统单机数据库的扩展性不足问题,在MapReduce基础上提供了标准SQL接口,架构上也逐步采用了部分MPP数据库技术;另一方面,分布式数据库也快速发展...

常见问题

如何理解开源与云原生的大数据技术与产品?MaxCompute作为大数据平台,对业务数据是否有好的监控手段?MaxCompute的项目发挥什么作用?如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret?现有账号的AccessKey被禁用,创建一个新的...

典型场景

基于湖构建数据平台,支持BI、挖掘等业务 对象存储OSS可以作为湖存储,DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖:支持DB的CDC与消息数据(如Kafka)入湖,构建...

功能概览

1.4 生态融合 系出飞天,与阿里云大数据系统深度整合,无缝对接MaxCompute、实时计算、交互式分析等产品,打通整个大数据体系。2.产品功能 2.1 数据接入 提供多种SDK、API和Flume、Logstash等第三方插件,让您高效便捷的把数据接入到数据...

什么是云数据库HBase

云数据库HBase是低成本、高扩展、云智能的大数据NoSQL,兼容标准HBase访问协议,提供低成本存储、高扩展吞吐、智能数据处理等核心能力,是为淘宝推荐、花呗风控、广告投放、监控大屏、菜鸟物流轨迹、支付宝账单、手淘消息等众多阿里巴巴...

冷热分层

背景信息 在海量大数据场景下,随着业务和数据量的不断增长,性能和成本的权衡成为大数据系统设计面临的关键挑战。Delta Lake是新型数据湖方案,推出了数据流入、数据组织管理、数据查询和数据流出等特性,同时提供了数据的ACID和CRUD操作...

JindoFS介绍和使用

JindoFS是基于阿里云对象存储OSS,为开源大数据生态构建的Hadoop兼容文件系统(Hadoop Compatible File System,HCFS)。JindoFS提供兼容对象存储的纯客户端模式(SDK)和缓存模式(Cache),以支持与优化Hadoop和Spark生态大数据计算对OSS...

应用场景

大数据场景 云数据库HBase支持海量全量数据的低成本存储、快速批量导入和实时访问,具备高效的增量及全量数据通道,可轻松与Spark、MaxCompute等大数据平台集成,完成数据的大规模离线分析。优势如下:低成本:高压缩比,数据冷热分离,...

基本介绍

云数据库HBase增强版适用于在规模、吞吐、性能、可用性等方面有更高要求的企业级场景,面对大数据(无限扩展、高吞吐)、在线服务(低延时、高可用)、多功能查询的诉求,其可为用户提供无缝扩展、高吞吐、持续可用、毫秒级稳定响应、强弱...

外部表概述

随着大数据业务的不断扩展,新的数据使用场景在不断产生,MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大计算能力,正一步步地开放给不同的外部数据。现阶段MaxCompute SQL处理的主要是以 cfile 列格式...

数据集成概述

背景信息 面对各行各业对大数据的应用,数据集成会有很多的诉求,包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优(例如容错,限速,并发)等。...

创建Hudi数据

背景信息 Hudi即Apache Hudi,Hudi是一个通用的大数据存储系统,将核心仓库和数据库功能直接引入到数据库中,并支持记录级别的插入更新和删除数据的能力。更多信息,请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...

限制说明

数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB,Value 最大不超过 1 MB,过数据不适合存储。事务支持 云数据库 Memcache 版不支持事务,有事务性要求的数据不适合写入,而应该直接写入数据库。使用场景 当...

Spark概述

Spark是一个通用的大数据分析引擎,具有高性能、易用性和普遍性等特点。架构 Spark架构如下图所示,基于Spark Core构建了Spark SQL、Spark Streaming、MLlib和Graphx四个主要编程库,分别用于离线ETL(Extract-Transform-Load)、在线数据...

设置连接池

如果您的应用连接创建频繁(例如短连接场景)或者连接数量很(大于MySQL数据库的连接数限制),您可以参考本文使用合适的RDS MySQL数据库代理连接池,降低应用与数据库建立连接的频率来减少MySQL数据库主线程的开销,减少数据库上的总...

新建TDengine数据

在 新建数据源 对话框的 大数据存储 区域,选择 TDengine。如果您最近使用过TDengine,也可以在 最近使用 区域选择TDengine。同时,您也可以在搜索框中,输入TDengine的关键词,快速搜索。在 新建TDengine数据源 对话框中,配置数据源的...

新建TDengine数据

在 新建数据源 对话框的 大数据存储 区域,选择 TDengine。如果您最近使用过TDengine,也可以在 最近使用 区域选择TDengine。同时,您也可以在搜索框中,输入TDengine的关键词,快速搜索。在 新建TDengine数据源 对话框中,配置数据源的...

数据迁移

本文为您介绍数据迁移的最佳实践,包含将其他业务平台的业务数据或日志数据迁移至MaxCompute,或将...MaxCompute处理业务数据和日志数据后,可以通过Quick BI快速地以可视化方式展现数据处理结果,详情请参见 基于MaxCompute的大数据BI分析。

新建Doris数据

在新建数据源对话框的 大数据存储 区域,选择Doris。如果您最近使用过Doris,也可以在最近使用区域选择Doris。同时,您也可以在搜索框中,输入Doris的关键词,快速筛选。在 新建Doris数据源 对话框中,配置连接数据源参数。配置数据源的...

数据组织优化

Clustering 当前痛点 Transactional Table 2.0支持分钟级近实时增量数据导入,高流量场景下可能会导致增量小文件数量膨胀,从而引发存储访问压力、成本高,并且大量的小文件还会引发meta更新以及分析执行慢,数据读写IO效率低下等问题,...

HDFS概述

HDFS(Hadoop Distributed File System)是一种Hadoop分布式文件系统,具备高度容错特性,支持高吞吐量数据访问,可以在处理海量数据(TB或PB级别以上)的同时最大可能的降低成本。HDFS适用于规模数据的分布式读写,特别是读多写少的场景...

创建Hologres数据

在 新建数据源 对话框的 大数据存储 区域,选择 Hologres。如果您最近使用过Hologres,也可以在 最近使用 区域选择Hologres。同时,您也可以在搜索框中,输入Hologres的关键词,快速筛选。在 新建Hologres数据源 对话框中,配置连接数据源...

导入导出表数据

MaxCompute Studio可以将CSV、TSV等格式的本地数据文件导入至MaxCompute表中,也可将MaxCompute表中的数据导出到本地文件。MaxCompute Studio通过Tunnel导入导出数据。前提条件 导入导出数据使用MaxCompute Tunnel,因此要求MaxCompute ...

数据传输费用(公网下载)

本文介绍MaxCompute中数据下载计费规则。MaxCompute仅对公网的下载数据进行收费,并按照下载的数据大小按量计费。MaxCompute会在第二天给出您的下载费用账单,您可以进入 费用中心 查看。下载计费规则如下。计费公式 价格 说明 一次下载...

ETL工作流快速体验

案例提供的数据仅用于阿里云大数据开发治理平台DataWorks数据应用体验。仅 空间管理员 角色可导入ETL模板至目标工作空间。如需给账号授予空间管理员角色,请参见 空间级模块权限管控。导入ETL工作流模板 您可以将DataWorks ETL工作流模板...

PolarDB Serverless实现了哪些突破

整个IDC形成一个多租户的大数据库,其全部的CPU、内存和存储构成三个独立的资源池。在资源池未耗尽的情况下,任何一个用户(租户)都可以任意的弹性扩展任何一种资源到任何一个规格,用户为其SQL动态消耗的CPU、内存和存储买单,不需要预置...

配置跨库Spark SQL节点

大数据量处理:支持快速处理较大规模的数据(十万条以上数据)。Spark SQL语法:基于Spark 3.1.2版本部署,提供该版本所有语法特性和原生函数。原生函数包括聚合函数、窗口函数、数组函数、Map函数、日期和时间处理函数、JSON处理函数等。...

兼容性概述

商业智能(BI)分析工具可以将复杂的数据转换成图表、仪表盘等形式,以直观的方式展示分析结果,使您能够快速把握业务状态。BI分析工具连接MaxCompute,能够充分利用MaxCompute强大的数据处理能力和高性能的计算资源,为您带来更高效的数据...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据传输服务 数据库备份 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用