实时数据API
实时数据业务流程。在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图所示。实时数据业务痛点。处理实时数据业务的整个链路中，...
创建业务流程
DataWorks的业务流程开发结构满足根据业务视角来组织数据开发任务的需求，也提供了周期业务流程和手动业务流程两种，以满足需要周期性调度和无需周期性调度手动触发运行的场景。本文为您介绍如何创建、设计、提交和查看业务流程，以及批量...
产品简介
适用场景如果您在大数据业务场景中遇到如下问题，可以通过阿里云大数据专家获取专属服务：受限于传统数据工作开展方式及组织管理模式，数字化转型中遇难到大数据各方面瓶颈；根据业务发展，难以从全局构建稳定的、变化的、集成的大数据体系...
E-MapReduce本地盘实例大规模数据集测试
需要使用阿里云E-MapReduce+本地盘进行大数据业务前进行性能测试的用户。需要将线下自建大数据集群迁移到阿里云云上E-MapReduce+本地盘进行大数据分析和性能对比测试的用户。最佳实践概述 为了满足大数据场景下的存储需求，阿里云在云上...
Spark计算引擎
Spark屏蔽掉了底层的基础组件，提供了简单的API、脚本以及控制台使用方式，开发者了解开源Spark的使用方式就可以进行大数据业务开发。0运维 用户只需通过 AnalyticDB MySQL Serverless Spark接口管理Spark作业，无需关心服务器配置以及...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。背景信息 E-MapReduce（简称EMR）版本中，Hadoop、Hive版本和EMR集群的配套情况，请参见版本概述。Hive结构 名称 说明 ...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息DataWorks on EMR目前支持LDAP认证...
概述
随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断的演化。MaxCompute原来主要面对内部特殊格式数据的强大计算能力，正一步步的开放给不同的外部数据。现阶段MaxCompute SQL处理的主要是以cfile列格式...
Serverless Spark概述
开发者只需要了解开源Spark的使用方式就可以进行大数据业务开发。0运维：用户只需通过产品接口管理Spark作业即可，无需关心服务器配置以及Hadoop集群配置，无需扩缩容等运维操作。作业级细粒度的弹性能力：Serverless Spark按照Driver和...
功能特性
计算存储分离架构广泛存在于AI、HPC、大数据业务场景中，但大量训练数据的加载容易形成效率瓶颈。阿里云通过高性能数据主动加载加速软件KSpeed，实现数据IO数量级性能提升。例如：在部分场景中，数据加载耗时可占据训练整体时长60%以上，...
抢占式实例概述
您可以在抢占式实例上部署以下业务：实时分析业务 大数据业务 地理空间勘测分析业务 图像和媒体编码业务 科学计算业务 可弹性伸缩的业务站点、网络爬虫业务 测试业务 有状态应用不宜使用抢占式实例，例如数据库。因为竞价失败等原因导致...
使用抢占式实例
您可以在抢占式实例上部署以下业务：实时分析业务 大数据计算业务 可弹性伸缩的业务站点 图像和媒体编码业务 科学计算业务 地理空间勘测分析业务 网络爬虫业务 测试业务 使用方法 您可以通过在Pod层面设置annotations: k8s.aliyun....
Java SDK使用说明
API方法向节点下发业务数据为例，描述调用API的方法，即向节点下发业务数据。SendUnicastCommandRequest request=new SendUnicastCommandRequest();request.setProtocol(ProtocolType.HTTPS);request.setMethod(MethodType.POST);设备唯一...
新功能发布记录
资产识别2019-08-22主动防御能力发布Web应用防火墙主动防护能力基于大数据智能学习算法，对用户历史业务流量不断迭代学习，建立“千人千面”的自动化防护策略。设置主动防御2019-07-30云上网站资产管理功能发布Web应用防火墙网站资产管理...
基于最后一次访问时间的生命周期规则介绍
基因测序生成的大量业务数据，往往需要根据数据的最后访问时间而非最后修改时间来判断数据的冷热。按以往，客户只能手动通过日志分析或其他方式进行数据冷热的分层管理。但如果选用基于最后一次访问时间的生命周期规则，则可实现由服务端...
创建并管理业务流程
本文为您介绍如何新建、修改和删除业务流程。前提条件 在创建业务流程之前，您需要登录API网关控制台开通API网关服务，并且新建API分组。背景信息 根据业务种类将不同类型的资源组织在一起，即构成业务流程，能够更好地帮助您以业务为单元...
GetDataServiceGroup
调用GetDataServiceGroup查询数据服务业务流程。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
CreateDataServiceGroup
调用CreateDataServiceGroup创建数据服务业务流程。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
任务调试流程
进入数据开发（DataStudio），在左侧导航栏的数据开发或手动业务流程模块，双击目标业务流程，进入该业务流程面板。调试运行业务流程。单击业务流程面板工具栏的运行（图标），即可按照依赖关系，依次运行整个业务流程中的任务。说明 当...
关键大盘
业务大盘展示业务相关大盘数据；应用大盘展示应用相关监控指标的大盘数据。进入实时监控控制台后，从左侧导航栏选择 关键大盘>业务大盘 或 应用大盘，可进入相应的大盘列表页面。本文主要介绍如何管理关键大盘，包括添加、查看、修改和删除...
DataWorks的审计事件
ListDataServiceGroups 查询数据服务业务流程列表。ListDataServicePublishedApis 获取数据服务API的发布态信息列表。ListDataSources 列出数据源。ListDeployments 查询发布包列表信息。ListDIProjectConfig 列出同步任务项目配置。...
MaxCompute跨项目迁移
在数据开发页面右键单击您克隆的业务流程Workshop下的数据集成，选择新建>离线同步。编辑您新建的数据同步任务节点，填写参数如下图所示。其中数据源bigdata_DOC是您的原始项目，数据源odps_first代表您当前的新建项目，表名是您需要同步...
MaxCompute跨项目迁移
在数据开发页面右键单击您克隆的业务流程Workshop下的数据集成，选择新建>离线同步。编辑您新建的数据同步任务节点，填写参数如下图所示。其中数据源bigdata_DOC是您的原始项目，数据源odps_first代表您当前的新建项目，表名是您需要同步...
DataWorks OpenAPI概述
1级ListDataServiceGroups调用ListDataServiceGroups查询数据服务业务流程列表。1级CreateDataServiceApiAuthority调用CreateDataServiceApiAuthority新增数据服务API授权。1级DeleteDataServiceApiAuthority调用DeleteDataServiceApi...
入门概述
通常，通过DataWorks的工作空间实现数据开发和运维包含以下操作：建表并上传数据 创建业务流程 创建同步任务 设置周期和依赖 运行及排错 使用临时查询快速查询SQL（可选）下图为数据开发和运维的基本流程。在正式开始操作DataWorks前，您...
新增自定义节点
发布模块 支持临时查询、手动业务流程和数据开发。描述 对自定义节点进行简单描述。使用说明 您可以根据自身需求修改使用说明。在插件配置区域，选中插件类型后，在下拉列表中选择插件。插件类型包括引擎型和业务型： 引擎型：通过上传JAR...
数据质量管理流程
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
数据质量管理流程
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
某互联网保险公司保险订单迁移MySQL到Lindorm
业务数据量大，数十TB级别且持续高速增长，存储成本压力大。数据有实时写入和批量导入，特别是批量导入对实时读写rt影响大。解决方案Lindorm历经阿里众多核心服务的大规模验证，拥有相关技术领域的技术团队，保障了使用过程的持续稳定、...
什么是云渲染GCS
云游戏业务 影视渲染业务 AI推理业务 需短时间内使用大量计算资源的大数据计算业务 产品优势 高性价比 最大化资源利用效率，仅需为实际资源使用量付费。全托管服务 无需运维服务器集群，无需关注硬件选型等技术细节。安全可靠 云上独立运行...
【通知】Redis混合存储型实例停止售卖
单实例成本对比Redis社区版最高可降低30%，且数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时，极大提升业务数据可靠性。云盘（ESSD）型：基于云盘ESSD研发，兼容Redis核心数据结构与接口，可提供大...
应用场景：低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量成指数级增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战存储成本的...
低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战：存储成本的升高...
低成本RDS历史库
背景在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量成大幅增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战：存储成本...
背景信息以及准备工作
创建的可视化应用能够发布分享，没有购买DataV产品的用户也可以访问到应用，作为您对外数据业务展示的窗口。本教程以DLA+OSS+DataV方案为例，介绍如何制作DataV数据大屏。前提条件 使用DLA+OSS+DataV制作数据大屏时，您需要先通过以下操作...
什么是混合云存储
阿里云提供针对私有云、容器、数据库、海量数据存储、HPC、AI和大数据等业务场景，基于混合云架构，提供云上弹性空间、软硬件一体集成的混合云存储服务。本文介绍混合云存储的基本信息等，帮助您选择最适合您业务场景和需求的混合云存储...
MongoDB只读节点简介
String URI实现读请求负载均衡，适用于从现有实例中读取大量数据的业务场景，如BI分析、大数据分析等。从节点（Secondary） 从节点具有高可用保障，即某个从节点故障时，系统会自动将其与隐藏节点切换，若未自动切换，您可以自行切换，从...
持久内存型
单实例成本对比云数据库Redis社区版最高可降低30%，且数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时，极大提升业务数据可靠性。购买方式 创建实例 背景信息 由于内存的价格相对昂贵且容量具备较大的...
持久内存型
单实例成本对比Redis社区版最高可降低30%，且数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时，极大提升业务数据可靠性。购买方式 创建Tair（Redis企业版）云盘实例 背景信息 由于内存的价格相对昂贵...
企业上云的主要动机
概述 明确上云动机是制定企业上云战略的第一步。本章将讨论企业上云背后不同种类的动机，以及和这些动机相匹配的业务...云上提供丰富的创新能力，例如IoT、大数据、业务中台，能够大幅降低企业业务创新的门槛。需要将业务快速推向新的市场。
- 产品推荐
- 这些文档可能帮助您
