E-MapReduce弹性低成本离线大数据分析
大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。离线大数据分析概述 主流的三大分布式计算框架...
产品大图
整体产品行业图 产品全景体系图 大数据产品分层图 大数据应用矩阵
互联网、电商行业离线大数据分析
方案介绍 实现互联网、电商行业离线大数据分析的流程如下： 同步用户订单等数据至MaxCompute。通过DataWorks对原始数据进行处理，并形成开放API。以API的形式通过DataV在大屏上展示结果数据。方案优势 大规模存储：超大规模存储且自动扩容...
E-MapReduce本地盘实例大规模数据集测试
需要将线下自建大数据集群迁移到阿里云云上E-MapReduce+本地盘进行大数据分析和性能对比测试的用户。最佳实践概述 为了满足大数据场景下的存储需求，阿里云在云上推出了本地盘D1机型。本地盘D1机型使用本地盘而非云盘作为存储，解决了之前...
RDS搭配大数据计算服务实现大规模数据计算
开放数据处理服务又称为大数据计算服务（MaxCompute，原名ODPS），可服务于批量结构化数据的存储和计算，提供海量数据仓库解决方案以及针对大数据的分析建模服务。通过 数据集成 服务，可将RDS数据导入MaxCompute，实现大规模的数据计算，...
Echarts 大规模散点图
本文介绍Echarts 大规模散点图的图表样式和配置面板的功能。图表样式 配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 搜索配置 面板中输入您需要搜索的配置项名称，快速定位到该配置项，系统支持模糊匹配。详情请参见 搜索资产...
在大数据平台中集成Tair
本文介绍如何在不同大数据分析平台中接入 云原生内存数据库Tair。常见大数据分析平台集成 Tair 的方法如下： 大数据开发治理平台DataWorks：请参见 配置Redis Writer插件。说明 Tair 完全兼容Redis，您可以参考该文档配置 Tair 实例信息，...
Echarts 大规模散点图
本文介绍Echarts 大规模散点图的图表样式和配置面板的功能。图表样式 样式面板 搜索配置：单击 样式 面板右上角的搜索配置项图标 可在搜索配置面板中输入您需要搜索的配置项名称，快速定位到该配置项，系统支持模糊匹配。详情请参见 搜索...
方案背景
本文介绍了表格存储结合实时计算Flink实现大数据分析的样例场景、架构设计等。背景信息 云数据库RDS MySQL基于阿里巴巴的MySQL源码分支，经过双十一高并发、大数据量的考验，拥有优良的性能。RDS MySQL支持实例管理、账号管理、数据库管理...
升级数据库大版本
本文介绍云数据库MongoDB支持升级的数据库大版本以及如何升级数据库大版本。注意事项 升级分片集群实例的数据库大版本时，实例的协议类型需为 MongoDB协议。升级采用轮转升级的方式进行，升级过程中会自动对实例进行2~3次重启，请在业务低...
升级数据库大版本
升级过程的时间长短 与实例的数据量和数据库对象数量相关，实例数据量越大，数据库对象数越多，升级时间越长。如果原实例使用了新版本不支持的参数，在新版本中该参数会被自动删除，如果在低版本的参数取值不在高版本对应参数的合法区间，...
代码大页
上图展示的是代码大页与普通4 KB代码页的iTLB数据，左图是iTLB miss数据，右图是iTLB MPKI数据。MySQL使用代码大页后：iTLB miss大约下降了10倍左右，数值大小从原来的0.09%左右下降到0.08%左右。iTLB MPKI大约下降了6倍左右。除MySQL外，...
应用场景
文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器学习的业务需求场景。大数据分析与机器学习 在大数据分析与机器学习场景中，应用对数据访问的吞吐性能和延迟有较高要求。而 文件存储 HDFS 版 能够提供高吞吐量和低延迟的访问能力...
概述
如果您的业务采用MySQL数据库，随着业务的发展，大数据分析场景逐渐增多，而MySQL数据库进行大数据分析需要结合流式组件、存储系统、计算组件等工具，操作复杂且难度大，您可以选择将MySQL数据库迁移到表格存储中实现大数据分析。...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
数据分析整体趋势
本文为您介绍数据分析的技术发展趋势和市场趋势。技术发展趋势 商业数据库起步于二十世纪八十年代，主要代表为Oracle，SQL Server，DB2等结构化数据在线处理的关系型数据库，而以MySQL，PostgreSQL为代表的开源关系型数据库也在二十世纪九...
产品优势
全托管的Databricks数据洞察大数据分析平台，可以让您从繁杂的环境运维、内核优化等工作中解脱出来，专注于开发Spark作业本身。本文介绍Databricks数据洞察的产品优势。高效稳定 产品内核使用Databricks商业版的Runtime和Delta Lake。与...
Quick BI的数据集是否区分数据大小写
问题描述 Quick BI的数据集是否会区分数据的大小写？解决方案 数据集默认不区分数据大小写。当数据集开启Quick引擎后是区分大小写的。适用于 Quick BI 公共云专业版4.4.1版本
湖仓一体新能力：EMR支持Hologres和MaxCompute数据源
直接使用在线数据进行大数据分析，无需导出Hologres和MaxCompute中的数据至OSS等中心化存储，从而避免了导出数据可能引起的数据丢失和安全问题，同时还提高了数据处理和分析的速度，使您可以更加灵活地利用自己的数据，并快速响应业务需求...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
Quick BI连接MaxCompute
BI是一个专为云上用户量身打造的易上手、性能强的大数据分析及可视化平台，可以让每个人都能成为数据分析师。Quick BI不仅是业务人员查看数据的工具，更是数据化运营的助推器。更多Quick BI信息，请参见 Quick BI。前提条件 在执行操作前，...
Databricks Runtime版本说明
Spark，并在此基础上进行了大量的功能和性能优化，可以显著提高大数据分析的可用性、性能和安全性。Databricks Runtime版本与Databricks官方保持一致，版本发布信息请参见 Databricks runtime release notes。Databricks Runtime详细信息请...
Spark概述
Spark是一个通用的大数据分析引擎，具有高性能、易用和普遍性等特点。架构 Spark架构如下图所示，基于Spark Core构建了Spark SQL、Spark Streaming、MLlib和Graphx四个主要编程库，分别用于离线ETL（Extract-Transform-Load）、在线数据...
IoT数据自动化同步至云端解决方案
物联网的体系结构包括设备、网络、平台、分析、应用和安全，其中分析部分的主要内容为大数据分析。大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案...
Python SDK Demo
演示如何使用Python SDK操作数据湖分析的spark作业 author aliyun"""from aliyunsdkcore.client import AcsClient from aliyunsdkopenanalytics_open.request.v20180619 import SubmitSparkJobRequest,GetJobStatusRequest,...
典型场景
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。数据湖...
物联网设备数据上云存储
业务基于 TSDB 进行数据分析、监控和大数据分析。物联网平台规则引擎 物联网设备基于消息 Topic 进行通信，使用规则引擎对 Topic 中的数据进行处理然后转发到 TSDB。只需要在规则引擎中配置一些简单的规则，就可以将设备数据存储到指定的...
环境准备
Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。更多信息，请参见 什么是阿里云实时计算Flink版。表格存储（Tablestore）面向海量...
AnalyticDB MySQL助力Flowerplus业务高速发展
由此可见，Flowerplus对大数据分析的实时性要求较高，而传统的MySQL数据库无法满足这一需求。复杂数据查询性能 使用传统MySQL数据库对订单、商品流量、采购、业务转化率以及商品售罄报警等分析时速度较慢，数据达到千万级或者亿级时，复杂...
面临的业务挑战
传统的批处理模式往往有数小时甚至数天的延迟，不能满足T+0的业务需要，用户要求在秒级，甚至毫秒级完成对海量数据分析。系统极复杂 大数据平台普遍存在使用复杂的问题。用户希望专注于核心业务，而非底层技术。用户希望使用的是“开箱即用...
互联网金融
搭建成熟稳定的安全体系适用于发展中的互联网金融公司，可保障网络安全、主机安全、移动安全，并结合安全大数据分析技术对未知威胁。业务架构 架构说明： 可保障网络安全、主机安全、移动安全。结合安全大数据分析技术对未知威胁进行感知与...
应用场景
这些服务都具有高效的数据压缩、列式存储和并行查询等特性，使其在大数据分析场景中表现出色。可以用于用户画像、人群圈选、BI报表和业务分析等一系列的业务场景。实时数据分析场景解决方案 步骤如下： 实时摄入：通过直接读取Kafka数据来...
大数据AI公共数据集分析
本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、Github、TPC等公共数据），指导您如何快速进行大数据分析，快速熟悉DataWorks的操作界面与最基础的数据分析能力。DataWorks的更...
快速入门
Elasticsearch作为实时分布式搜索和分析引擎，可以快速地、近乎于准实时地存储、查询和分析超大数据集，可以快速构建日志分析、异常监控、企业搜索和大数据分析等各业务应用。Elasticsearch快速入门 Logstash Logstash作为服务器端的数据...
简介
与云上Spark无缝集成，快速搭建空间大数据仓库和空间大数据分析平台。基于OGC标准设计，便于系统间的集成与互操作。基于阿里云HBase专业运维，全托管方式，提供可靠稳定的服务。典型案例&架构 航海船舶大数据平台 场景：全球AIS船舶实时...
ActionTrail日志清洗
以操作DLA的账号为例，该账号下每天会产生几千个数据文件，一个月的文件数将达到几十万个，大量的数据文件对大数据分析非常不便，分析数据耗时，且需要足够大的集群资源才能进行大数据分析。前提条件 使用ActionTrail日志清洗之前，您需要...
MongoDB数据库大版本升级说明
云数据库MongoDB支持升级数据库大版本。升级前，建议您了解不同产品架构、不同版本的实例支持升级到的数据库大版本以及不同数据库大版本的兼容性变更说明。支持升级到的数据库大版本 不同产品架构、不同版本的云数据库MongoDB实例支持升级...
功能发布记录（2023）
Copilot可根据自然语言快速完成多种SQL相关操作（例如，生成SQL、改写SQL、纠正SQL错误、生成SQL注释），帮助您轻松、高效地完成数据ETL及数据分析工作，节省大量时间和精力。2023.10.30 西南1（成都）华北3（张家口）华北2（北京）华东2...
AI计算资源概述
Flink构建的一站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，有关Flink全托管资源的详细信息请参见 什么是阿里云实时计算Flink版 您可以在 资源配额 页面购买Flink全托管资源，并关联至工作空间进行模型训练。使用引导 您...
- 产品推荐
- 这些文档可能帮助您