常见问题
MaxCompute作为大数据平台，对业务数据是否有好的监控手段？MaxCompute的项目发挥什么作用？如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret？现有账号的AccessKey被禁用，创建一个新的AccessKey，会对之前AccessKey创建的周期性...
功能简介
Discovery）是一款面向业务人员的业务模型（智能数据与智能算子组装）编排、调试、运行及运营管理产品，旨在将“大数据”变成“人人都可用的大数据”。数据探索面向行业客户和业务人员，提供工具内容一体化的业务模型构建平台，实现低代码...
什么是移动数据分析
是阿里云推出的一款移动App数据统计分析产品，提供通用的多维度用户行为分析，支持日志自主分析，助力移动开发者实现基于大数据技术的精细化运营、提升产品质量和体验、增强用户黏性。产品特点 完备的业务数据采集 支持采集用户的业务行为...
基于AnalyticDB实现城市公交系统智能化
和DRDS建设的完整解决方案，将人、车、线、站的大数据资源及相关配套资源进行商业化转换，引领行业提升公交系统的创新能力和服务水平，助力“互联网+城市公交”的提升发展。业务挑战 启迪公交（北京）科技股份有限公司（以下简称启迪公交）...
Databricks Runtime版本说明
Spark，并在此基础上进行了大量的功能和性能优化，可以显著提高大数据分析的可用性、性能和安全性。Databricks Runtime版本与Databricks官方保持一致，版本发布信息请参见 Databricks runtime release notes。Databricks Runtime详细信息请...
功能概览
系出飞天，与阿里云大数据系统深度整合，无缝对接MaxCompute、实时计算、交互式分析等产品，打通整个大数据体系。2.产品功能 2.1 数据接入 提供多种SDK、API和Flume、Logstash等第三方插件，让您高效便捷的把数据接入到数据总线。2.2 数据...
Dataphin支持的实时数据源
Ververica Flink支持的实时数据源 存储类型 数据源类型 读 写 维表读 大数据存储 MaxCompute 支持 支持 支持 DataHub 支持 支持-Hologres 支持 支持 支持 数据湖 Hudi 支持 支持-Iceberg 支持（仅支持原生DDL方式）支持（仅支持原生DDL方式...
概述
EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。
概述
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是云数据库HBase
云数据库HBase是低成本、高扩展、云智能的大数据NoSQL，兼容标准HBase访问协议，提供低成本存储、高扩展吞吐、智能数据处理等核心能力，是为淘宝推荐、花呗风控、广告投放、监控大屏、菜鸟物流轨迹、支付宝账单、手淘消息等众多阿里巴巴...
云产品集成
是一款为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。您可以使用 DataWorks 添加 ApsaraDB For OceanBase 数据源，管理 OceanBase 数据库中的数据，通过数据集成功能，实现在复杂网络环境下、丰富的异构数据...
快速玩转Tablestore入门与实战
数据中台之结构化大数据存储设计 结构化大数据分析平台设计 云上应用系统数据存储架构演进 Lambda plus：云上大数据解决方案 场景实战-典型场景架构与实现 元数据 用户存储海量的文档、媒体文件等数据的同时，对文件元数据的存储和分析不可...
表格存储
多维网格数据是一种科学大数据，在地球科学领域（气象、海洋、地质、地形等）应用非常广泛，且数据规模也越来越大。相关的科学工作者有快速浏览数据的需求以及在线查询的需求，查询种类丰富、延迟要求高。表格存储可以解决科学大数据的海量...
Quick BI数据源MaxCompute创建的数据集数据重复
问题描述 Quick BI数据源MaxCompute创建的数据集数据重复。用户在DataWorks上数据先清空表，然后重新导入数据，查询数据是正确的，没有重复；但创建成Quick BI的数据集后有重复数据。问题原因 DataWorks上...适用于 Quick BI 数据源-大数据
授权信息
本文为您介绍 云原生大数据计算服务 MaxCompute（MaxCompute） 为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。云原生大数据计算服务 MaxCompute（MaxCompute）的RAM代码（RamCode）为 odps，支持的授权粒度为 ...
公交出行：启迪公交
专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型 本文介绍启迪公交如何通过 PolarDB-X 应对业务挑战。所属行业：公交...
Paimon概述
Apache Paimon是一种流批统一的湖...支持消费与产生增量数据，可作为传统数仓与流式数仓的各级存储。支持预聚合数据，降低存储成本与下游计算压力。支持历史版本回溯。支持高效的数据过滤。支持表结构变更。更多信息，请参见 Apache Paimon。
使用简介
Ganos Geometry Pyramid可以用于二维空间几何大数据的快速显示。数据要求 类型为Point、Line、Polygon、MultiPoint、MultiLine或MultiPolygon的空间数据表。每条记录必须包含一个唯一的正整数类型的ID字段（uint4/uint8）。必须已经为几何...
使用简介
Ganos Geometry Pyramid可以用于二维空间几何大数据的快速显示。数据要求 类型为Point、Line、Polygon、MultiPoint、MultiLine或MultiPolygon的空间数据表。每条记录必须包含一个唯一的正整数类型的ID字段（uint4/uint8）。必须已经为几何...
使用简介
Ganos Geometry Pyramid可以用于二维空间几何大数据的快速显示。数据要求 类型为Point、Line、Polygon、MultiPoint、MultiLine或MultiPolygon的空间数据表。每条记录必须包含一个唯一的正整数类型的ID字段（uint4/uint8）。必须已经为几何...
支持的数据库类型
数据安全中心（Data Security Center，简称DSC）为您提供敏感数据识别、数据安全审计、数据脱敏、数据风险检测等安全能力。本文介绍 DSC 支持的数据库类型。说明 下表用到的标识说明：表示当前数据库类型支持该功能。表示当前数据库类型不...
与Spark集成分析
用户可以通过DLA Ganos实现Spark加载HBase中的时空数据并进行大规模时空分析操作。DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless...
作业优先级管理与成本优化
本文为您介绍MaxCompute作业优先级管理与成本优化。作业优先级 MaxCompute的包年包月计算资源有限，在实际数据开发过程中，系统需要优先保障...由于大数据的动态性和不断变化的性质，成本优化应该持续进行，成本优化流程请参见 成本优化概述。
与Spark集成分析
用户可以通过DLA Ganos实现Spark加载HBase中的时空数据并进行大规模时空分析操作。DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless...
上传下载数据文件
上传或下载大数据量文件 如果您需要上传或下载超过10 GB的大数据文件，建议您使用OSS的 ossutil工具 将本地文件上传到OSS存储空间。然后将OSS创建为数据集并挂载到DSW实例中，从而实现在DSW实例中直接读取OSS数据。具体操作，请参见 读写...
电子合同：深圳法大大网络科技有限公司
采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍深圳法大大网络...
Kafka通过DataWorks实时同步
Hologres与大数据生态无缝打通，与大数据智能研发平台DataWorks深度融合，您可以通过DataWorks数据集成将Kafka数据实时同步至Hologres，再进行高并发低延时的查询分析处理。相关原理请参见 Kafka Reader 和 Hologres Writer。单表实时同步 ...
DataWorks模块使用说明
数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的快速理解与流通。使用流程概览：参考文档：...
JindoFS介绍和使用
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
概述
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。DataWorks数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、...
概述
MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，同时在数据仓库和DLA中创建与数据源表相同的表结构，基于目标数据仓库进行数据分析...
Napatech案例
Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力带来极大的挑战。增加过多的节点会带来极大的成本开销及管理复杂...
产品优势
阿里云E-MapReduce（简称EMR）为您提供相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本...
支持的数据源
本文介绍Lindorm与关系型数据库、NoSQL数据库、大数据生态之间的数据导入导出能力。其中部分能力由LTS（Lindorm自研的数据通道服务）支持，部分能力由DataWorks或DTS支持。数据导入 源集群 目标集群 全量导入 增量导入 关系数据库 MySQL ...
聚合支付方案
阿里云从业务扩展性、数据流动性、服务高可用三方面入手，通过多款云数据库产品为利楚扫呗制定聚合支付方案，解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...
大数据AI公共数据集分析
DataWorks：一站式大数据开发与治理平台，绑定计算引擎后可在DataWorks上开发调度对应引擎的分数据开发治理任务。MaxCompute 适用于数据分析场景的企业级SaaS模式云数据仓库，为海量数据提供丰富的计算和存储能力。所需费用 DataWorks：...
成本优化概述
由于大数据的动态性和不断变化的性质，企业用户成本优化的活动应该持续不断的进行。您可以参考以下流程进行优化： 在使用MaxCompute之前，建议您详细了解付费策略以及预估自己需要使用的资源，选择适合您的付费方式。详情请参见 选择付费...
快速入门
同时您也可以参见数据迁移系列文档，将第三方Elasticsearch、云数据库和大数据云产品数据迁移至阿里云Elasticsearch 背景信息 在阿里云Elastic Stack产品生态下，Elasticsearch作为实时分布式搜索和分析引擎，Logstash采集、转换、优化和...
阿里云认证介绍
阿里云认证体系是结合阿里云丰富的行业实践和生态企业人才需求，输出针对泛云生态人才标准的专业认证体系，覆盖云计算、大数据、人工智能、物联网、数据库、云原生、云安全等多个技术领域。面向学生、技术工程师、架构师等群体。具备ACA...
什么是EMR Notebook
Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言程序的...
- 产品推荐
- 这些文档可能帮助您