DataWorks On CDP/CDH使用说明
类别 描述 相关文档 OpenAPI DataWorks开放平台的OpenAPI功能，为您提供开放API能力，通过开放API实现本地服务和DataWorks服务的交互，提升企业大数据处理效率，减少人工操作和运维工作，降低数据风险和企业成本。开放API（OpenAPI）开放...
应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
数据库节点
Saphana SAP HANA是一个高性能的内存数据库和应用平台，结合了数据库、数据处理和应用平台功能，以提供企业级内存计算的能力。更多介绍请参见 SAP HANA。Vertica Vertica是一个高性能的列式存储数据库管理系统（DBMS），可高速处理和查询大...
基于Delta Table构建近实时增全量一体化链路架构
数据库整库 实时同步写入-DataWorks数据集成 当前数据库系统与大数据处理引擎都有各自擅长的数据处理场景，面对一些复杂的业务需求，往往需要同时运用OLTP（联机事务处理）、OLAP（联机分析处理）及离线分析引擎来对数据进行全面且深入的...
如何对JSON类型进行高效分析
PolarDB IMCI采用精简二进制方式存储JSON列存数据，且使用RapidJSON库解析JSON数据，处理过程中按需读取数据且利用列存压缩技术等有效减少IO量，同时充分利用SIMD和向量化及并行等加速运算。以实际测试数据为例展示列存中JSON用法及其行列...
创建IMPALA数据源
在 新建数据源 对话框的 大数据存储 区域，选择 IMPALA。如果您最近使用过IMPALA，也可以在 最近使用 区域选择IMPALA。同时，您也可以在搜索框中，输入IMPALA的关键词，快速筛选。在 新建IMPALA数据源 对话框中，配置连接数据源参数。配置...
创建IMPALA数据源
在 新建数据源 对话框的 大数据存储 区域，选择 IMPALA。如果您最近使用过IMPALA，也可以在 最近使用 区域选择IMPALA。同时，您也可以在搜索框中，输入IMPALA的关键词，快速筛选。在 新建IMPALA数据源 对话框中，配置连接数据源参数。配置...
创建HBase数据源
背景信息 HBase是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是HBase，在导出Dataphin数据至HBase，您需要先完成HBase数据源的创建。权限说明 仅支持拥有 新建数据源 权限点的自定义全局角色和 超级管理员、数据源管理...
MaxFrame概述
为满足用户在Python生态中日益增长的高效大数据处理和AI开发需求，MaxCompute提供了基于Python编程接口的分布式计算框架MaxFrame，可直接使用云原生大数据服务MaxCompute海量计算资源进行分布式执行，同时与MaxCompute Notebook、镜像管理...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
附录：全局和项目角色权限说明
数据架构-新建业务实体 数据架构-数据板块-主题域管理-新建主题域 数据架构-数据板块-主题域管理-新建下级主题域 数据架构-数据板块-主题域管理-新建业务实体 数据架构-数据板块-业务实体-新建业务实体 编辑 数据架构-编辑板块 数据架构-...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
产品优势
本文介绍 云原生多模数据库 Lindorm 与其他开源数据库的区别。背景信息 云原生多模数据库 Lindorm 兼容...生态 开源大数据生态Hadoop/Spark等、阿里云数据生态 开源大数据生态Hadoop/Spark等 易用性 免运维，维护简单 有状态服务，维护较复杂
什么是数据湖构建
DLF与多个阿里云大数据计算引擎无缝对接，打破数据孤岛，帮助用户快速实现云原生数据湖及OpenLake解决方案的构建与管理。该平台能够实现元数据的统一、湖表格式的统一以及数据存储的统一，显著简化客户在数据湖构建和管理过程中的运维工作...
2024年
Histogram 2024-05-22 新增云原生大数据计算服务MaxCompute系统权限策略参考 新说明 本文描述云原生大数据计算服务MaxCompute支持的所有系统权限策略及其对应的权限描述，供您授权RAM身份时参考。云原生大数据计算服务 MaxCompute系统权限...
应用场景
数据分析 云服务器ECS提供了大数据类型实例规格族，支持Hadoop分布式计算、日志处理和大型数据仓库等业务场景。由于大数据类型实例规格采用了本地存储的架构，云服务器ECS在保证海量存储空间、高存储性能的前提下，可以为云端的Hadoop集群...
PyODPS概述
数据处理方式 描述 场景示例 拉取到本地处理（不推荐，易OOM）例如DataWorks中的PyODPS节点，内置了PyODPS包以及必要的Python环境，是一个资源非常受限的客户端运行容器，并不使用MaxCompute计算资源，有较强的内存限制。PyODPS提供了 to_...
配置跨库Spark SQL节点
大数据量处理：支持快速处理较大规模的数据（十万条以上数据）。Spark SQL语法：基于Spark 3.1.2版本部署，提供该版本所有语法特性和原生函数。原生函数包括聚合函数、窗口函数、数组函数、Map函数、日期和时间处理函数、JSON处理函数等。...
大数据型（d系列）
大数据型实例规格（d系列）处理器与内存配比为1:4（部分规格不为1:4），适用于Hadoop MapReduce、HDFS、Hive、HBase等大数据计算和存储业务场景，以及Elasticsearch、Kafka等搜索和日志数据处理场景。背景信息 在阅读各个实例规格族的特点...
Teamtnt变种攻击Hadoop集群
Hadoop作为大数据计算基础组件往往集群化部署，一旦一台主机沦陷其整个集群都将受到威胁，其对外暴露端口服务会造成极大威胁。阿里云安全持续对该BOT进行监控，发现近期传播有所上升，提醒广大用户注意防护。传播手段 Hadoop Yarn作为...
欧派家居
2015年，欧派全面启动“欧派制造2025”战略，融合互联网、大数据与人工智能制造，通过数字化打通销售、研发、生产制造、物流运输等全套环节，打造以MTDS终端设计营销服务管理系统、WCC智能拆单系统、MSCS生产调度控制系统、APS+XMES柔性...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
Hudi（退役中）
完善的数据连通性 对接多个阿里云大数据计算分析引擎，数据与计算引擎解耦，可以在Flink、Spark、Presto或Hive间无缝流转。深度打磨DB入湖场景 与Flink CDC连接器联动，降低开发门槛。提供企业级特性 包括集成DLF统一元数据视图、自动且轻...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
E-MapReduce弹性低成本离线大数据分析
Storm适用于处理高速、大型数据流的分布式实时计算，为Hadoop添加可靠的实时数据处理能力。海量离线数据分析可以应用于多种场景，例如：商业系统环境：电商海量日志分析、用户行为画像分析。科研行业：海量离线计算分析和数据查询。游戏...
区域热力层（v3.x版本）
请求地理边界geojson数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如区域热力层配置了API数据源为 https://api.test ，传到 请求地理边界geojson数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
自定义区域下钻层（v3.x版本）
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如自定义区域下钻层配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
区域热力层（v2.x版本）
动作 动作 说明 请求地理边界geojson数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如区域热力层配置了API数据源为 http://api.test ，传到 请求地理边界geojson数据接口 动作的数据为 { id:'1'}，则...
OSS/OSS-HDFS概述
特性 通过JindoSDK使用OSS和OSS-HDFS的特性对比如下：场景 特性 OSS OSS-HDFS 大数据场景（Hadoop）支持目录、文件语义和操作 支持 支持 添加目录、文件权限 不支持 支持 目录原子性、rename性能 支持，但性能不佳 支持，毫秒级 通过...
快速入门
如果您是初次使用阿里云Elasticsearch，可参见产品使用系列文档，快速使用Elasticsearch、Logstash、Beats、高级监控报警功能和应用...大数据云产品迁移 包括MaxCompute、Hadoop、以及经过实时计算处理后的数据迁移至阿里云Elasticsearch。
减灾与应急时空解决方案与案例
公司主营OpenRIS灾害风险大数据平台提供了海量灾害数据的快速地图展示、统计查询、切割下载、上传数据定制化在线分析等功能，实现了灾害数据与模型一体化云服务。在数据与系统上云过程前，遇到了如下挑战：长期积累的时空数据类型多、数据...
近实时数仓概述
企业依赖大数据平台快速地从海量数据中获得洞察从而更及时和有效地决策的同时，也对处理数据的新鲜度和处理本身的实时性要求越来越高。大数据平台普遍采用离线、实时、流三种引擎组合的方式以满足用户实时性和高性价比的需求。但是很多业务...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。...数据展现与分享：数据提取成功后，可以通过报表、地理信息系统等多种展现方式，展示与分享大数据分析、处理后的成果。
功能更新动态（2022年之前）
华北2（北京）、华东1（杭州）计费说明 2021年08月24日 华南1（深圳）2021年08月26日 华东2（上海）系统将依据您选择的数据处理单元规格分配不同的默认调度资源，选购的规格越高，分配的调度资源越多，可以支持的任务并发数越大，研发效率...
文档更新动态（2022年之前）
更新说明 计费说明 系统将依据您选择的数据处理单元规格分配不同的默认调度资源，选购的规格越高，分配的调度资源越多，可以支持的任务并发数越大，计算处理速度也相应提升。更新说明 2021年08月24日 数据源：可支持的数据源类型和版本拓展...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效地配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错、限速、并发）等。...
JindoFS外部客户端
设置环境变量 BIGBOOT_HOME 为程序安装根目录，将程序根目录下 ext 和 lib 的路径，添加到用户使用的大数据组件（Hadoop或Spark等）的 Classpath 中。从E-MapReduce集群内部拷贝配置文件/usr/lib/bigboot-current/conf/bigboot.cfg....
DataWorks On EMR使用说明
背景信息 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...
- 产品推荐
- 这些文档可能帮助您