大数据专家服务

Service)是由阿里云数据专家基于阿里云多年数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的数据产品技术、咨询服务及售后专家...,赋能技术团队具备大数据平台建设、架构设计、AI算法建模以及运维保障能力...

开源大数据平台E-MapReduce

开源大数据平台E-MapReduce(Elastic MapReduce)是运行在阿里云平台上的一种数据处理的系统解决方案。

Cloudera CDP 企业数据平台

企业数据云平台Cloudera Data Platform(简称阿里云CDP),是阿里云和Cloudera联合打造阿里云上的大数据平台

智能数据建设与治理 Dataphin

Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎,为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据构建及管理服务。

DataWorks交流钉钉群

从2009年飞天大数据平台写下第一行代码开始,DataWorks历经10年发展,形成一套成熟的产品功能体系,满足企业数据中搭建需求。在阿里巴巴内部,每天有数万数据、算法开发工程师正在使用DataWorks。扫描下方二维码或电脑端点击这里 加入...

客服工作

客服工作依托大数据平台,凭借数据挖掘,搜索,语音转文本,自然语音处理,机器学习等前沿技术,打造一套完整的智能服务体系。最终达到:\n\n以智能自助服务逐渐取代部分人工服务;\n以智能引导和智能决策、机器人辅助人工服务;\n让...

产品简介

Service)是由阿里云数据专家基于阿里云多年数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的数据产品技术、咨询服务及售后专家...,赋能技术团队具备大数据平台建设、架构设计、AI算法建模以及运维保障能力...

什么是阿里云Cloudera CDP

企业数据云平台Cloudera Data Platform(简称阿里云CDP),是阿里云和Cloudera联合打造阿里云上的大数据平台。Cloudera CDP企业数据云平台Cloudera企业数据云是社区版CDH的全新商业化升级产品,是阿里云和Cloudera联合打造阿里云上的大数据...

典型场景

基于湖构建数据平台,支持BI、挖掘等业务对象存储OSS可以作为湖存储,DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖:支持DB的CDC与消息数据(如Kafka)入湖,构建...

面临的业务挑战

此外,大数据平台的组合方案在细粒度的访问权限控制、高可靠性方面,特别对于金融等行业客户的数据容灾、高可用的需求无法很好支持。使用成本高 数据在企业中的使用,具有明显的周期性和不确定性。一方面,业务发展变化很快,其数据规模...

EMR on ACK概述

ACK提供了全新构建大数据平台的方式。您可以将开源数据服务部署在阿里云容器服务Kubernetes版(ACK)之上,利用ACK在服务部署和容器应用管理的优势,减少对底层集群资源的运维投入,以便于您可以更加专注数据任务本身。形态对比 阿里云...

上海新能源汽车车辆基础数据

客户感言2019年开始上海市新能源汽车大数据平台从自建Hadoop集群迁移至阿里云Lindorm+DLA Spark产品,有效解决了我们平台存储和计算的横向动态扩容瓶颈,同时借助其产品中间件LTS实现了我们平台数据的冷热分离,有效降低了数据存储成本,...

添加服务

开源大数据平台E-MapReduce支持在控制增加服务。本文为您介绍如何在E-MapReduce控制新增服务。前提条件 已创建集群,详情请参见创建集群。操作步骤 进入集群与服务管理页面。登录阿里云E-MapReduce控制。在顶部菜单栏处,根据实际...

通过OSS SDK接入开源生态

您可以通过OSS SDK接入多种开源生态。支持通过OSS SDK接入以下多种开源生态:开源生态 说明 使用Hadoop或者Hive访问OSS 此系列文档由开源软件Apache社区...Platform)是由Hortonworks发行的大数据平台,包含了Hadoop、Hive、HBase等开源组件。

通用数据开发

说明 上图中,虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示:数据产生:业务系统每天会产生大量结构化的数据,存储在业务系统所对应的数据库中,包括MySQL、Oracle和RDS等类型。数据收集与存储:您需要同步...

发展历程

关键性里程碑 2009年9月,ODPS(即现在的MaxCompute)大数据平台飞天项目正式启动。2010年10月,阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月,平台的单集群规模已达到5000。2014年7月,平台开始对外提供服务,完全替换...

常见问题

MaxCompute作为大数据平台,对业务数据是否有好的监控手段?MaxCompute的项目发挥什么作用?如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret?现有账号的AccessKey被禁用,创建一个新的AccessKey,会对之前AccessKey创建的周期性...

基于MaxCompute进行大数据BI分析

MySQL强大的数据加工和分析能力,降低大数据平台建设的门槛,轻松解决了海量数据的计算问题。同时有效降低企业成本,并保障数据安全。与第三方开源生态无缝对接,在不侵入用户应用的情况下,传输日志至日志服务,降低使用门槛。方案详情 ...

EMR Doctor概述

E-MapReduce Doctor(简称EMR Doctor)是E-MapReduce产品自研的面向开源数据集群的智能运维诊断系统。通过EMR ...通过对集群中各种信息进行融合分析,并根据智能算法进行智能诊断分析,减少大数据平台繁重和重复的劳动。

项目分配与安全

在为企业级大数据平台创建项目时,建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目,对于ADS层的数据,按照应用的粒度建立项目。项目分配 在本教程中,建议参考下图建立您的MaxCompute项目,图中的每一个方块代表一个项目。...

E-MapReduce创建失败

问题描述 EMR创建集群失败 问题原因 EMR创建集群失败有多种原因,需具体情况具体分析。以下列举出常见集群创建失败的原因以及对应解决方案,帮助您在集群创建失败时可以通过FAQ来解决部分问题一、问题:...适用于 开源大数据平台E-MapReduce

南京银行

OceanBase,以及大数据平台能力,构建新的互联网金融核心,并于同年 11 月上线互联网金融平台“鑫云+”。客户价值新平台开创“1+2+3N”合作模式,业务包括全托管模式、引流模式(为成员行的直销银行提供客户导流)、能力共享模式(共享风险...

产品优势

相对于业内其他数据仓库或者大数据平台,本文介绍并汇总了核心产品优势。云原生弹性 AnalyticDB MySQL版采用云原生技术架构,实现了存储计算分离,计算资源与存储资源能按需动态扩缩,能解决业务增长和波动的计算存储资源瓶颈问题,同时...

减灾与应急时空解决方案与案例

公司主营OpenRIS灾害风险大数据平台提供了海量灾害数据的快速地图展示、统计查询、切割下载、上传数据定制化在线分析等功能,实现了灾害数据与模型一体化云服务。在数据与系统上云过程前,遇到了如下挑战: 长期积累的时空数据类型多、数据...

数据开发之报表分析

目前,经过多年的“数据”洗脑,以上的需求往往被分发到大数据平台上做处理。但是如今,利用DMS中的仓开发一样可以完成。功能优势 使用DMS中的仓开发做报表开发有如下优势:线上线下统一管理。即业务库和分析库都在DMS中管理,无需...

客户案例

解决方案玩物得志基于阿里云DataWorks+MaxCompute框架搭建大数据平台,使用其核心存储、计算等组件、上层可视化及业务查询能力,在开源方案的基础上进行了二次开发。解决方案架构如下。详细案例信息,请参见玩物得志案例。互联网社交案例:...

项目分配与安全

在为企业级大数据平台创建项目时,建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目,对于ADS层的数据,按照应用的粒度建立项目。项目分配 在本教程中,建议参考下图建立您的MaxCompute项目,图中的每一个方块代表一个项目。...

使用独立的Presto集群

在使用开源大数据平台E-MapReduce控制时,您可以通过在Hadoop集群添加Presto服务或者创建独立的Presto集群使用Presto服务。Presto集群仅包含了SmartData、Presto、Hudi、Iceberg和Hue等必要的服务,具备以下特点: Presto独享集群资源,...

大数据

本文介绍云服务器ECS大数据型实例规格族的特点,并列出了具体的实例规格。推荐 大数据存储密集型实例规格族d3s 大数据计算密集型实例规格族d3c 大数据计算密集型实例规格族d2c 大数据存储密集型实例规格族d2s 大数据网络增强型实例规格族d1...

数据转发到DataHub

您可以使用规则引擎将数据转到DataHub上,再由DataHub将数据流转至实时计算、MaxCompute等服务中,以实现更多计算场景。前提条件 已确认当前物联网平台实例及所在地域支持将数据转发到DataHub。...操作样例 通过大数据平台搭建设备监控大屏

保险行业解决方案与案例

O引擎实时变化的数据同步到KAFKA平台,下游业务系统和大数据平台通过数据订阅以满足监管报送等各种场景;通过上线前完整兼容性评估,上线过程中全量SQL回归压测,上线后完备的监控和高效应急手段确保切换过程顺利。针对互联网核心系统部分...

ClickHouse概述

开源大数据平台E-MapReduce(简称EMR)的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性,同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能,并且在开源的基础...

ClickHouse概述

开源大数据平台E-MapReduce(简称EMR)的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性,同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能,并且在开源的基础...

打车营销风控解决方案

客户需求免运维:快速搭建实时风控系统数据对接:基于大数据平台MaxCompute的对接能力业务需求:图模型快速构建、发布上线性能要求:需要保证实时数据更新效率,线上访问延迟低建模设计乘客或司机可能更换不同的手机号、设备号和账号(id)...

通信方式概述

基于Topic消息路由的M2M设备间通信 设备数据使用场景示例 通过大数据平台搭建设备监控大屏 推送设备上报数据到钉钉群 服务端订阅(MNS) 物联网平台对接第三方服务-天气查询 使用IoT Studio搭建监控大屏 设备消息通过RocketMQ流转到服务器

使用独立的Trino集群

在使用开源大数据平台E-MapReduce控制时,您可以在创建DataLake集群、自定义集群或Hadoop集群时选择Trino服务,或者创建独立的Trino集群使用Trino服务。Trino集群具备以下特点: Trino独享集群资源,受其他组件干扰少。支持弹性伸缩。...

2022-03-04版本

针对开源大数据平台E-MapReduce中的ClickHouse组件(非云Clickhouse产品)提供Exactly Once语义。支持ClickHouse的Nested类型。对于ClickHouse的Nested类型,可以将其映射为Flink的Array类型。支持直接写ClickHouse分布式表的本地表。通过...

将日志服务数据投递到OSS

使用Hive、MaxCompute等大数据平台或阿里云DLA产品分析OSS数据时,如果您希望使用Partition信息,可将文件名中的PARTITION-FORMAT设置为key=value格式。例如:oss:/test-bucket/log_ship_oss_example/year=2022/mon=01/day=20/log_195043_...

新用户流失召回

底层计算引擎使用MaxCompute(阿里云自研大数据平台)或EMR(开源Hadoop体系)计算引擎。仓层使用DataWorks工具,供数据工程师开发用户标签。模型训练层使用PAI-Studio或EMR-DS等建模工具。架构图如下所示。数据准备 在App流失用户召回...

创建OSS投递作业(新版)

使用Hive、MaxCompute等大数据平台或阿里云DLA产品分析OSS数据时,如果您希望使用Partition信息,可将文件名中的PARTITION-FORMAT设置为key=value格式。例如:oss:/test-bucket/log_ship_oss_example/year=2022/mon=01/day=20/log_195043_...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用