技术架构选型
在数据模型设计之前，您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。...DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
云产品集成
您可以使用 DMS 录入云数据库 OceanBase 的数据，通过 DMS 的全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。什么是数据管理DMS 支持的数据库...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
开发流程
详细操作请参见 开发前端逻辑流操作代码 和 开发后端逻辑流操作代码。步骤三、上传构建产物 返回魔笔IDE的逻辑流编辑界面，在逻辑流物料面板中单击上传构建产物，选择构建产物并上传。详细操作请参见 上传构建产物。开发完成自定义逻辑流...
上传构建产物
前提条件 已完成逻辑流执行代码的开发，前、后端逻辑流的详细操作请分别参见 开发前端逻辑流操作代码 和 开发后端逻辑流操作代码。操作步骤 登录 魔笔。在顶部菜单栏选择 应用管理，在左上角搜索框中搜索目标应用。在目标应用的卡片中单击 ...
概述
EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。
EMR数据开发停止更新公告
作为一站式大数据开发治理平台，DataWorks沉淀阿里巴巴十多年大数据建设方法论，为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力，帮助客户提升数据的应用效率。迁移流程 阿里云DataWorks on EMR团队提供了完善...
元数据采集
支持的数据源及元数据采集方式 数据源类型 元数据采集方式 是否能在数据地图中看到采集器 元数据更新时效性 数据表/字段 分区 数据血缘 MaxCompute 数据开发-绑定数据源 自动启动采集 否 普通项目：实时 外部项目：T+1 国内地域：实时 海外...
准备环境
前提条件 大数据开发治理平台DataWorks：购买DataWorks，详情请参见 购买指引。说明 因本示例提供的数据资源都在华东2（上海），建议购买时选择地域为华东2（上海）。对象存储OSS：已开通OSS服务，具体步骤，请参见 开通OSS服务。步骤一：...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
流式数据通道概述
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...
数据治理中心概述
数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，提供...
常见问题
DataWorks为MaxCompute提供了可视化开发和节点流程管理等功能，结合MaxCompute完成一站式数据开发、数据治理等。详情请参见 什么是DataWorks。如何区分DataWorks工作空间和MaxCompute项目？您需要基于DataWorks工作空间来创建MaxCompute...
概述
自定义后端逻辑流操作：基于Java编写，对于熟悉Java的开发者来说，可以运用Java的强大能力来扩展后端逻辑流。开发出的后端逻辑流操作可以在物料市场中分享，任何人都可以从中受益，而无需了解Java。例如，您可以编写基于Java的后端逻辑流...
Data API功能简介
降低使用成本 通过使用RDS Data API Service，一些特定的系统可以免去后端服务，直接从前端请求到数据库，简化系统架构的同时，由于不再需要服务端业务逻辑开发，减少了应用程序开发的人力成本，降低了维护基础设施的风险，而且更便于扩展...
运行历史
运行历史面板为您展示最近三天您在数据开发界面运行过的所有任务记录，单击相应的任务，即可查看运行日志。说明 运行历史 界面只展示当前账号在数据开发（DataStudio）最近三天的运行记录。如您需查看调度任务每日运行情况，请前往 运维...
运维阶段
开发人员根据需求将代码发布上线后，还需要及时处理数据、程序、调度、监控告警等的异常事件，保障数据产出时效、程序高效运行和生产稳定性。背景信息 数据开发人员主要需要处理以下事项：程序异常处理、性能优化。调度异常处理。数据质量...
大数据AI公共数据集分析
操作难度 低 所需时间 30分钟 使用的阿里云产品 DataWorks：一站式大数据开发与治理平台，绑定计算引擎后可在DataWorks上开发调度对应引擎的分数据开发治理任务。MaxCompute：适用于数据分析场景的企业级SaaS模式云数据仓库，为海量数据...
移动网关简介
该组件简化了移动端与服务端的数据协议和通讯协议，能够显著提升开发效率和网络通讯效率。功能特点 移动网关是连接移动客户端跟服务端的桥梁，移动客户端通过网关来访问后台服务接口。移动网关能够：自动生成客户端的 RPC 调用代码，用户不...
MongoDB 6.0新特性概览
可查询加密只允许在客户端查看敏感数据的明文，在查询到达服务器端时会同时包含从KMS获取的加密密钥，然后在服务器端以密文进行查询并返回，最后在客户端利用密钥解密后以明文呈现。可查询加密的特点如下：从客户端加密敏感数据，只有客户...
电商网站智能推荐
电商网站智能推荐基于阿里巴巴的大数据和人工智能技术，结合在电商行业的多年积累，为开发者提供个性化推荐服务，提升商品的购买率和转化率。概述 本实践以电商网站为例，通过日志服务采集日志，将RDS作为后端数据服务、MaxCompute作为数据...
设置连接池
工作原理 前端连接与后端连接 在客户端（应用）与数据库建立连接时，以数据库代理为中间节点可将该连接分为前端连接（客户端与数据库代理的连接）和后端连接（数据库代理与数据库的连接）。如下图所示。未开启连接池时的连接建立过程 未...
批量操作
操作步骤 登录DataWorks控制台，进入 数据开发 页面后，在顶部的快捷操作按钮中单击 批量操作 按钮，即可打开批量操作页面。批量修改。在 批量操作 页面中，您可以在顶部页签中选择对 节点、资源 或者 函数 进行批量处理。您可以在页签中的...
编排逻辑流
说明 登录、交易、数据量大等涉及安全敏感信息或影响性能的场景建议使用后端逻辑流进行编排。在页面中，通过数据容器绑定逻辑流，快速搭建逻辑流。添加页面，详细操作请参见 添加页面。拖曳数据容器相关组件至画布中，此处以List为例，在...
MaxCompute资源管理
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。展开左侧导航栏中的 MaxCompute，单击 MaxCompute资源。序号 图标 说明 ① MaxCompute资源默认显示 ...
我的地盘
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>DATABLAU。选择 我的地盘 页签，在我的地盘页面中查看模型的相关信息。
ClickHouse数据源
是 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据同步系统和服务器端的网络交互次数，能够提升数据抽取性能。说明 fetchSize值过大会造成数据同步进程OOM，需要根据ClickHouse负载情况递增。否 1,...
配置DataHub输入
背景信息 插件启动后一直运行，等待源端DataHub有数据后进行读取。DatahubStream Reader插件有以下两个功能：实时读取。根据DataHub Shard个数并发读取。操作步骤 进入 数据开发 页面。登录 DataWorks控制台。在左侧导航栏，单击 工作空间...
用户管理
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据建模>DATABLAU。选择 用户管理 页签，在用户管理页面中查看...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
模型目录
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据开发>DATABLAU。选择 模型目录 页签，在模型目录页面中查看模型的详细信息。...
采集数据
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。新建业务流程。在 数据开发 面板，右键单击 业务流程，选择 新建业务流程。并根据业务需要定义业务...
敏感数据概况
操作步骤 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。单击左侧导航栏的 ...
进入数据质量概览（旧版）
查看数据质量概览 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。单击左上角的 图标，选择 全部产品>数据质量，默认进入 概览 页面。模块 描述 我的订阅 为您展示当前...
审批中心概述
例如，管理员定义了 mysql_1 数据源作为源端、odps_1 数据源作为目的端的数据集成任务审批策略，则开发人员在保存相关任务时便会触发审批流程，只有完成权限申请后才能继续执行相关操作。当权限申请人在 安全中心 申请权限后，后续的流程如...
通过向导模式配置离线同步任务
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。开发流程 步骤一：新建离线同步节点 步骤二：配置同步网络链接 步骤三：配置数据来源与去向 步骤四：配置字段映射关系 ...
开发后端逻辑流操作代码
自定义后端逻辑流操作基于Java编写，对于熟悉Java的开发者来说，可以运用Java的强大能力来扩展后端逻辑流。前提条件 已安装JDK11+和Maven3.5+。步骤一、下载代码模版 登录 魔笔。在顶部菜单栏选择 应用管理，在左上角搜索框中搜索目标应用...
简介
逻辑流 逻辑流：逻辑流串联了应用内的页面模型和数据模型，能够实现应用内的逻辑交互。逻辑流包含：触发器：触发逻辑流运行，如单击页面、定时器...说明 登录、交易、数据量大等涉及安全敏感信息或影响性能的场景建议使用后端逻辑流进行编排。
- 产品推荐
- 这些文档可能帮助您