面临的业务挑战
数据来源上包含数据库数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量传统企业基于关系数据库构建自己的业务系统，已经非常熟悉按SQL的方式去使用数据，这无疑...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
其他问题
为什么不能在调度资源组上进行大数据计算？其他 如何设置任务优先级？如何查看任务优先级？周期任务与周期实例、补数据实例、测试实例是什么关系？DataWorks每晚将根据周期任务，批量生成第二天自动调度的周期实例，周期实例自动生成并且...
数据模型概述
DDM目前支持逻辑模型和物理模型建模，其中物理模型又分和关系型数据模型和非关系型数据模型，支持的大数据引擎为MaxCompute、Hive。说明 Hadoop的MR调优参数属于底层，DDM是数据建模工具，支持设置表、字段等物理属性。
查看数据地图
查看敏感数据所在表或文件详情：单击敏感数据操作列的 表详情（结构化数据或大数据）或 文件详情 （非结构化数据），可查看该表或文件中的敏感文件占比、命中规则TOP 5和文件详情列表。在文件详情列表中，单击指定文件操作列的 列详情...
常见问题
对于内部表，所有的数据都存储在MaxCompute中，表中列的数据类型可以是MaxCompute支持的任意一种数据类型。对于外部表，MaxCompute并不真正持有数据，表格的数据可以存放在OSS或OTS中。MaxCompute仅会记录表格的Meta信息，您可以通过...
什么是移动数据分析
是阿里云推出的一款移动App数据统计分析产品，提供通用的多维度用户行为分析，支持日志自主分析，助力移动开发者实现基于大数据技术的精细化运营、提升产品质量和体验、增强用户黏性。产品特点 完备的业务数据采集 支持采集用户的业务行为...
功能概览
系出飞天，与阿里云大数据系统深度整合，无缝对接MaxCompute、实时计算、交互式分析等产品，打通整个大数据体系。2.产品功能 2.1 数据接入 提供多种SDK、API和Flume、Logstash等第三方插件，让您高效便捷的把数据接入到数据总线。2.2 数据...
Databricks Runtime版本说明
Spark，并在此基础上进行了大量的功能和性能优化，可以显著提高大数据分析的可用性、性能和安全性。Databricks Runtime版本与Databricks官方保持一致，版本发布信息请参见 Databricks runtime release notes。Databricks Runtime详细信息请...
功能简介
Discovery）是一款面向业务人员的业务模型（智能数据与智能算子组装）编排、调试、运行及运营管理产品，旨在将“大数据”变成“人人都可用的大数据”。数据探索面向行业客户和业务人员，提供工具内容一体化的业务模型构建平台，实现低代码...
基于AnalyticDB实现城市公交系统智能化
和DRDS建设的完整解决方案，将人、车、线、站的大数据资源及相关配套资源进行商业化转换，引领行业提升公交系统的创新能力和服务水平，助力“互联网+城市公交”的提升发展。业务挑战 启迪公交（北京）科技股份有限公司（以下简称启迪公交）...
快速玩转Tablestore入门与实战
单表提供PB级数据存储规模，无需分库分表，同时支持千万QPS，可以轻松满足IoT设备、监控系统等时序数据的存储需求，大数据分析SQL直读以及高效的增量流式读接口让数据轻松完成离线分析与实时流计算。基于Tablestore的一站式物联网存储解决...
表格存储
表格存储管理控制台提供实例、数据表、多元索引的创建，基本的数据读写操作，以及实例和表级别的访问监控数据（QPS、延时、请求数等）。费用模型 使用表格存储，您可以按实际使用量付费，先使用，后付费，以较低的成本满足访问波动明显大...
Dataphin支持的实时数据源
Ververica Flink支持的实时数据源 存储类型 数据源类型 读 写 维表读 大数据存储 MaxCompute 支持 支持 支持 DataHub 支持 支持-Hologres 支持 支持 支持 数据湖 Hudi 支持 支持-Iceberg 支持（仅支持原生DDL方式）支持（仅支持原生DDL方式...
概述
EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。
东软案例
如下图所示，阿里Lindorm数据库在赋能政企数字运维团队更强大的运维大数据分析能力的同时，大幅度提升了政府、企业数字系统性能和在线服务的客户数字体验，降低了低价值密度监控数据存储管理成本。图 1.阿里云Lindorm数据库驱动的IT运维...
概述
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是云数据库HBase
云数据库HBase是低成本、高扩展、云智能的大数据NoSQL，兼容标准HBase访问协议，提供低成本存储、高扩展吞吐、智能数据处理等核心能力，是为淘宝推荐、花呗风控、广告投放、监控大屏、菜鸟物流轨迹、支付宝账单、手淘消息等众多阿里巴巴...
技术发展趋势
如果没有工具来分析这些海量数据，企业无法在商业智能表上留下大量有价值的数据。因此，“数据多模”需求被逐步提出。传统大数据技术可以满足此类需求，但其发散的技术栈，不统一的使用习惯，都难以在广大企业内落地使用。因此急需统一、...
云产品集成
DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库类型与功能 云数据库录入 DataV 数据可视化 DataV 数据...
授权信息
操作（Action）下表是 云原生大数据计算服务 MaxCompute（MaxCompute）定义的操作，这些操作可以在RAM权限策略语句的 Action 元素中使用，用来授予执行该操作的权限。下面对表中的具体项提供说明：操作：是指具体的权限点。API：是指操作...
公交出行：启迪公交
专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型 本文介绍启迪公交如何通过 PolarDB-X 应对业务挑战。所属行业：公交...
使用简介
Ganos Geometry Pyramid可以用于二维空间几何大数据的快速显示。数据要求 类型为Point、Line、Polygon、MultiPoint、MultiLine或MultiPolygon的空间数据表。每条记录必须包含一个唯一的正整数类型的ID字段（uint4/uint8）。必须已经为几何...
使用简介
Ganos Geometry Pyramid可以用于二维空间几何大数据的快速显示。数据要求 类型为Point、Line、Polygon、MultiPoint、MultiLine或MultiPolygon的空间数据表。每条记录必须包含一个唯一的正整数类型的ID字段（uint4/uint8）。必须已经为几何...
使用简介
Ganos Geometry Pyramid可以用于二维空间几何大数据的快速显示。数据要求 类型为Point、Line、Polygon、MultiPoint、MultiLine或MultiPolygon的空间数据表。每条记录必须包含一个唯一的正整数类型的ID字段（uint4/uint8）。必须已经为几何...
上传下载数据文件
上传或下载大数据量文件 如果您需要上传或下载超过10 GB的大数据文件，建议您使用OSS的 ossutil工具 将本地文件上传到OSS存储空间。然后将OSS创建为数据集并挂载到DSW实例中，从而实现在DSW实例中直接读取OSS数据。具体操作，请参见 读写...
Paimon概述
Apache Paimon是一种流批统一的湖...支持消费与产生增量数据，可作为传统数仓与流式数仓的各级存储。支持预聚合数据，降低存储成本与下游计算压力。支持历史版本回溯。支持高效的数据过滤。支持表结构变更。更多信息，请参见 Apache Paimon。
Kafka通过DataWorks实时同步
Hologres与大数据生态无缝打通，与大数据智能研发平台DataWorks深度融合，您可以通过DataWorks数据集成将Kafka数据实时同步至Hologres，再进行高并发低延时的查询分析处理。相关原理请参见 Kafka Reader 和 Hologres Writer。单表实时同步 ...
概述
Tablestore中的增量数据及全量数据可以通过DataWorks的数据集成同步到MaxCompute中。背景信息 表格存储（Tablestore）面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量...
产品架构
适用于元数据、消息数据、时空数据、大数据等场景下的系统搭建。数据接入 表格存储 提供SDK、DataWorks、IoT规则引擎等多种数据接入方式，支撑应用数据、消息数据、物联网数据等不同类型结构化数据的存储。Tablestore 多模型数据存储 表格...
作业优先级管理与成本优化
本文为您介绍MaxCompute作业优先级管理与成本优化。作业优先级 MaxCompute的包年包月计算资源有限，在实际数据开发过程中，系统需要优先保障...由于大数据的动态性和不断变化的性质，成本优化应该持续进行，成本优化流程请参见 成本优化概述。
支持的数据库类型
数据安全中心（Data Security Center，简称DSC）为您提供敏感数据识别、数据安全审计、数据脱敏、数据风险检测等安全能力。本文介绍 DSC 支持的数据库类型。说明 下表用到的标识说明：表示当前数据库类型支持该功能。表示当前数据库类型不...
电子合同：深圳法大大网络科技有限公司
采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍深圳法大大网络...
Napatech案例
Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力带来极大的挑战。增加过多的节点会带来极大的成本开销及管理复杂...
产品优势
阿里云E-MapReduce（简称EMR）为您提供相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本...
什么是开放平台
阿里云工业开放平台是基于阿里云大数据的一体化计算平台，通过数据工厂对企业系统数据、工厂设备数据、传感器数据、人员管理数据等多方工业企业数据进行汇集，并借助图像、视频识别、机器学习和人工智能算法，来激活海量数据价值。...
成本优化概述
由于大数据的动态性和不断变化的性质，企业用户成本优化的活动应该持续不断的进行。您可以参考以下流程进行优化： 在使用MaxCompute之前，建议您详细了解付费策略以及预估自己需要使用的资源，选择适合您的付费方式。详情请参见 选择付费...
概述
MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，同时在数据仓库和DLA中创建与数据源表相同的表结构，基于目标数据仓库进行数据分析...
JindoFS介绍和使用
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
DataWorks模块使用说明
数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的快速理解与流通。使用流程概览：参考文档：...
- 产品推荐
- 这些文档可能帮助您