数据模型概述
DDM目前支持逻辑模型和物理模型建模，其中物理模型又分和关系型数据模型和非关系型数据模型，支持的大数据引擎为MaxCompute、Hive。说明 Hadoop的MR调优参数属于底层，DDM是数据建模工具，支持设置表、字段等物理属性。
HDFS云原生上云方案
是面向海量非结构化数据的分布式文件存储服务，具有弹性、低成本的优势，提供100%的HDFS协议和使用体验，支持企业大数据中的HDFS无缝平滑上云，构建云原生时代的存储计算分离的大数据架构。方案总览 方案优势 简单：Lindorm文件引擎支持100...
比如我的业务都在RDS里了，在本地的数据中心做一个从...
支持，可以开通DTS的数据订阅服务，通过RDS备份恢复+DTS实时订阅二者结合，实现本地灾备的功能。具体实现方案详见：最佳时间中的利用数据订阅实现本地灾备。
其他问题
为什么不能在调度资源组上进行大数据计算？其他 如何设置任务优先级？如何查看任务优先级？周期任务与周期实例、补数据实例、测试实例是什么关系？DataWorks每晚将根据周期任务，批量生成第二天自动调度的周期实例，周期实例自动生成并且...
DataStudio概述
DataWorks基于Hologres、MaxCompute等大数据计算引擎，为您提供专业高效、安全可靠的一站式大数据开发与治理平台，自带阿里巴巴数据中台与数据治理最佳实践，赋能各行业数字化转型。Hologres与DataWorks深度兼容，通过可视化方式支持您在...
常见问题
MaxCompute作为大数据平台，对业务数据是否有好的监控手段？MaxCompute的项目发挥什么作用？如何获取MaxCompute中的Accesskey_ID和AccessKey_Secret？现有账号的AccessKey被禁用，创建一个新的AccessKey，会对之前AccessKey创建的周期性...
功能简介
Discovery）是一款面向业务人员的业务模型（智能数据与智能算子组装）编排、调试、运行及运营管理产品，旨在将“大数据”变成“人人都可用的大数据”。数据探索面向行业客户和业务人员，提供工具内容一体化的业务模型构建平台，实现低代码...
什么是移动数据分析
是阿里云推出的一款移动App数据统计分析产品，提供通用的多维度用户行为分析，支持日志自主分析，助力移动开发者实现基于大数据技术的精细化运营、提升产品质量和体验、增强用户黏性。产品特点 完备的业务数据采集 支持采集用户的业务行为...
基于AnalyticDB实现城市公交系统智能化
和DRDS建设的完整解决方案，将人、车、线、站的大数据资源及相关配套资源进行商业化转换，引领行业提升公交系统的创新能力和服务水平，助力“互联网+城市公交”的提升发展。业务挑战 启迪公交（北京）科技股份有限公司（以下简称启迪公交）...
Databricks Runtime版本说明
Spark，并在此基础上进行了大量的功能和性能优化，可以显著提高大数据分析的可用性、性能和安全性。Databricks Runtime版本与Databricks官方保持一致，版本发布信息请参见 Databricks runtime release notes。Databricks Runtime详细信息请...
功能概览
系出飞天，与阿里云大数据系统深度整合，无缝对接MaxCompute、实时计算、交互式分析等产品，打通整个大数据体系。2.产品功能 2.1 数据接入 提供多种SDK、API和Flume、Logstash等第三方插件，让您高效便捷的把数据接入到数据总线。2.2 数据...
Dataphin支持的实时数据源
Ververica Flink支持的实时数据源 存储类型 数据源类型 读 写 维表读 大数据存储 MaxCompute 支持 支持 支持 DataHub 支持 支持-Hologres 支持 支持 支持 数据湖 Hudi 支持 支持-Iceberg 支持（仅支持原生DDL方式）支持（仅支持原生DDL方式...
概述
EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。
概述
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是云数据库HBase
云数据库HBase是低成本、高扩展、云智能的大数据NoSQL，兼容标准HBase访问协议，提供低成本存储、高扩展吞吐、智能数据处理等核心能力，是为淘宝推荐、花呗风控、广告投放、监控大屏、菜鸟物流轨迹、支付宝账单、手淘消息等众多阿里巴巴...
云产品集成
是一款为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。您可以使用 DataWorks 添加 ApsaraDB For OceanBase 数据源，管理 OceanBase 数据库中的数据，通过数据集成功能，实现在复杂网络环境下、丰富的异构数据...
如何使用数据驱动光源强度变化
利用数据绑定组件进行数据关联—>通过指令组件变更光照属性 Step1（场景中添加光源）在场景中增加光源组件，此处以点光源作为示例。本示例中点光源光照强度默认配置为10。Step2（利用数据绑定组件进行数据关联）通过数据绑定组件，为光源...
技术发展趋势
生产处理实时化 从数据的3V特性（体积，速度和变化）来看，大数据强调数据量，PB级以上，是静态数据；而Fast Data在数据量的基础上，意味着速度和变化，客户可以更加实时化、更加快速地进行数据处理。IDC在新发布的一份白皮书中表示，随着...
快速玩转Tablestore入门与实战
超级快递——如何用系统来保证快递准时送达 科学大数据 多维的网格数据是一种科学大数据，在地球科学领域（气象、海洋、地质、地形等）应用非常广泛，且数据规模也越来越大。相关的科学工作者有快速浏览数据的需求以及在线查询的需求，查询...
表格存储
多维网格数据是一种科学大数据，在地球科学领域（气象、海洋、地质、地形等）应用非常广泛，且数据规模也越来越大。相关的科学工作者有快速浏览数据的需求以及在线查询的需求，查询种类丰富、延迟要求高。表格存储可以解决科学大数据的海量...
Quick BI数据源MaxCompute创建的数据集数据重复
问题描述 Quick BI数据源MaxCompute创建的数据集数据重复。用户在DataWorks上数据先清空表，然后重新导入数据，查询数据是正确的，没有重复；但创建成Quick BI的数据集后有重复数据。问题原因 DataWorks上...适用于 Quick BI 数据源-大数据
羲和分析计算引擎
利用数据分布，直接进行基于特定数据的计算，避免分布式系统中数据和命令流交互的开销。利用数据存储的能力，下推谓词、聚合等计算，实现近存储的计算加速。利用数据模型中的范式依赖，数据数值类型等进行查询执行算法优化。
授权信息
本文为您介绍 云原生大数据计算服务 MaxCompute（MaxCompute） 为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。云原生大数据计算服务 MaxCompute（MaxCompute）的RAM代码（RamCode）为 odps，支持的授权粒度为 ...
公交出行：启迪公交
专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型 本文介绍启迪公交如何通过 PolarDB-X 应对业务挑战。所属行业：公交...
Paimon概述
Apache Paimon是一种流批统一的湖...支持消费与产生增量数据，可作为传统数仓与流式数仓的各级存储。支持预聚合数据，降低存储成本与下游计算压力。支持历史版本回溯。支持高效的数据过滤。支持表结构变更。更多信息，请参见 Apache Paimon。
概述
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。DataWorks数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、...
使用简介
Ganos Geometry Pyramid可以用于二维空间几何大数据的快速显示。数据要求 类型为Point、Line、Polygon、MultiPoint、MultiLine或MultiPolygon的空间数据表。每条记录必须包含一个唯一的正整数类型的ID字段（uint4/uint8）。必须已经为几何...
使用简介
Ganos Geometry Pyramid可以用于二维空间几何大数据的快速显示。数据要求 类型为Point、Line、Polygon、MultiPoint、MultiLine或MultiPolygon的空间数据表。每条记录必须包含一个唯一的正整数类型的ID字段（uint4/uint8）。必须已经为几何...
使用简介
Ganos Geometry Pyramid可以用于二维空间几何大数据的快速显示。数据要求 类型为Point、Line、Polygon、MultiPoint、MultiLine或MultiPolygon的空间数据表。每条记录必须包含一个唯一的正整数类型的ID字段（uint4/uint8）。必须已经为几何...
支持的数据库类型
数据安全中心（Data Security Center，简称DSC）为您提供敏感数据识别、数据安全审计、数据脱敏、数据风险检测等安全能力。本文介绍 DSC 支持的数据库类型。说明 下表用到的标识说明：表示当前数据库类型支持该功能。表示当前数据库类型不...
与Spark集成分析
用户可以通过DLA Ganos实现Spark加载HBase中的时空数据并进行大规模时空分析操作。DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless...
作业优先级管理与成本优化
本文为您介绍MaxCompute作业优先级管理与成本优化。作业优先级 MaxCompute的包年包月计算资源有限，在实际数据开发过程中，系统需要优先保障...由于大数据的动态性和不断变化的性质，成本优化应该持续进行，成本优化流程请参见 成本优化概述。
与Spark集成分析
用户可以通过DLA Ganos实现Spark加载HBase中的时空数据并进行大规模时空分析操作。DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless...
上传下载数据文件
上传或下载大数据量文件 如果您需要上传或下载超过10 GB的大数据文件，建议您使用OSS的 ossutil工具 将本地文件上传到OSS存储空间。然后将OSS创建为数据集并挂载到DSW实例中，从而实现在DSW实例中直接读取OSS数据。具体操作，请参见 读写...
电子合同：深圳法大大网络科技有限公司
采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍深圳法大大网络...
Kafka通过DataWorks实时同步
Hologres与大数据生态无缝打通，与大数据智能研发平台DataWorks深度融合，您可以通过DataWorks数据集成将Kafka数据实时同步至Hologres，再进行高并发低延时的查询分析处理。相关原理请参见 Kafka Reader 和 Hologres Writer。单表实时同步 ...
DataWorks模块使用说明
数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的快速理解与流通。使用流程概览：参考文档：...
概述
MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，同时在数据仓库和DLA中创建与数据源表相同的表结构，基于目标数据仓库进行数据分析...
Napatech案例
Napatech公司的用户可以将数据包采集和分析的能力提升至200G，然而上层软件产生的流量数据包元数据也爆增，给后台数据库（比如开源的HBase/ElasticSearch）的存储和索引能力带来极大的挑战。增加过多的节点会带来极大的成本开销及管理复杂...
支持的数据源
本文介绍Lindorm与关系型数据库、NoSQL数据库、大数据生态之间的数据导入导出能力。其中部分能力由LTS（Lindorm自研的数据通道服务）支持，部分能力由DataWorks或DTS支持。数据导入 源集群 目标集群 全量导入 增量导入 关系数据库 MySQL ...
- 产品推荐
- 这些文档可能帮助您