企业级HBase介绍
2019杭州云栖大会Topic-基于企业级HBase的大数据存储处理 视频地址请点击 注：选择 9.27AM-NoSQL数据库专场 视频时间为01:54:20至02:23:11
快速玩转Tablestore入门与实战
数据中台之结构化大数据存储设计 结构化大数据分析平台设计 云上应用系统数据存储架构演进 Lambda plus：云上大数据解决方案 场景实战-典型场景架构与实现 元数据 用户存储海量的文档、媒体文件等数据的同时，对文件元数据的存储和分析不可...
概述
但由于运行环境不一样，边缘端与云端支持的数据存储大部分是不相同的。类型 描述 源表 流式数据存储，驱动流数据分析的运行。每个流数据分析任务必须提供至少一个流式数据存储。边缘端支持的类型如下所示。EdgeBus：边缘端消息总线（边缘端...
Dataphin支持的实时数据源
Ververica Flink支持的实时数据源 存储类型 数据源类型 读 写 维表读 大数据存储 MaxCompute 支持 支持 支持 DataHub 支持 支持-Hologres 支持 支持 支持 数据湖 Hudi 支持 支持-Iceberg 支持（仅支持原生DDL方式）支持（仅支持原生DDL方式...
与Spark集成分析
Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，最基础的是GeometryRDD模型，用来实现Ganos...
与Spark集成分析
Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，最基础的是GeometryRDD模型，用来实现Ganos...
上海新能源汽车车辆基础数据
基于Lindorm HDFS大数据存储方案，满足海量数据ETL和分析需求。云原生数据湖分析（简称DLA）Spark分析引擎满足在线交互式查询、流处理、批处理、机器学习等业务诉求。客户价值 Lindorm宽表引擎批量写入、高效压缩，线性扩展等特性使得数据...
应用场景
大数据存储与分析 传统的数据分析场景下，用户需要把数据从在线数据库（Operational Database）复制到离线数据仓库（Data Warehouse）上之后再进行数据分析，这需要海量数据的多次复制、传输、加载和存储等多方面工作。HybridDB for MySQL...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
Delta Lake概述
通常的数据湖方案是选取大数据存储引擎构建数据湖（例如，阿里云对象存储OSS产品或云下HDFS），然后将产生的各种类型数据存储在该存储引擎中。在使用数据时，通过Spark或Presto对接数据分析引擎并进行数据解析。但该套方案存在如下问题： ...
引擎简介
与多模引擎共享存储，LindormDFS支撑，充分利用了对象存储的低成本与高可靠、块存储的高性能等优势，并通过高低速分层存储、副本共享去重、智能冷热转存等技术，面向用户提供弹性低成本、100%HDFS协议兼容的云原生大数据存储能力，可使用...
准备数据源和计算源
Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型请参见 Dataphin支持的数据源。确定了业务数据源类型后，您需要创建对应类型的数据源使其与Dataphin...
概述
大数据存储与计算：MaxCompute离线数仓（必选）、Hologres实时分析型数仓（可选）、E-MapReduce开源大数据平台（可选），您可根据需要开通MaxCompute、Hologres或E-MapReduce。数据开发与调度：DataWorks数据开发（必选）、DataWorks运维...
创建Hudi数据源
Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多详情请参见 Apache Hudi官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目...
功能概览
云备份支持常见的NFS和CIFS/SMB、S3兼容存储，也支持HDFS等大数据存储。云备份提供智能分析，具有多维度展现数据特点、针对性制定归档计划、预测归档效果的能力，可以高效地将海量文件存至到云上归档库，配置简单、性能优异、成本低廉。...
OSS-HDFS服务概述
作为云原生数据湖基础，OSS-HDFS在满足EB级数据分析、亿级文件管理服务、TB级吞吐量的同时，全面融合大数据存储生态，除提供对象存储扁平命名空间之外，还提供了分层命名空间服务。分层命名空间支持将对象组织到一个目录层次结构中进行管理...
JindoFS块存储模式
E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-MapReduce...
索引选择策略
表格存储作为海量结构化大数据存储，支持不同的索引结构，便于不同场景的查询分析加速使用。使用SQL查询功能时，您可以通过显式访问二级索引表进行索引查询。对于多元索引，表格存储提供了自动多元索引选择策略和显式访问多元索引两种方式...
什么是云数据库Cassandra
理由三：大数据存储的利器、方便搭配X-Pack Spark Spark是目前主流默认的大数据处理引擎，Cassandra是目前主流的BigData NoSQL数据库。Cassandra+Spark可以处理风控、推荐、物联网等很多数据驱动的业务。阿里云数据库团队也提供了X-Pack ...
产品简介
Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如PolarDB、Lindorm(HBase)、OSS等，通过统一的...
Dataphin支持的数据源
Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下： 如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。Dataphin...
创建GreenPlum数据源
在 新建数据源 对话框的 大数据存储 区域，选择 GreenPlum。如果您最近使用过 GreenPlum，也可以在 最近使用 区域选择 GreenPlum。同时，您也可以在搜索框中，输入 GreenPlum 的关键词，快速筛选。在 新建 GreenPlum 数据源 对话框中，配置...
将MaxCompute数据同步到表格存储
如果要新增MaxComput数据源，具体操作与步骤一类似，只需在 新增数据源 对话框的 大数据存储 区域，选择数据源类型为 MaxCompute。重要 数据同步时，一个任务只能使用一种资源组。资源组列表默认仅显示独享数据集成资源组，为确保数据同步...
创建MaxCompute数据源
在 新建数据源 对话框的 大数据存储 区域，选择 MaxCompute。如果您最近使用过MaxCompute，也可以在 最近使用 区域选择MaxCompute。同时，您也可以在快搜索框中，输入MaxCompute的关键词，快速筛选。在 新建MaxCompute数据源 对话框中，...
创建Hologres数据源
大数据存储 区域，选择 Hologres。如果您最近使用过Hologres，也可以在 最近使用 区域选择Hologres。同时，您也可以在快搜索框中，输入Hologres的关键词，快速筛选。在 新建Hologres数据源 对话框中，配置连接数据源参数。配置数据源的基本...
SmartData使用说明（EMR-3.20.0~3.22.0版本）
E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-MapReduce...
新建Doris数据源
在新建数据源对话框的 大数据存储 区域，选择Doris。如果您最近使用过Doris，也可以在最近使用区域选择Doris。同时，您也可以在快速搜索框中，输入Doris的关键词，快速筛选。在 新建Doris数据源 对话框中，配置连接数据源参数。配置数据源...
使用DataWorks数据服务生成API
新增数据源 弹出框中，单击 大数据存储 模块下的 Lightning。在 新增Lightning数据源 弹出框中，输入 数据源名称、Lightning Endpoint 等相关信息，完成后单击 测试连通性，连通性测试通过后即可完成数据源的创建。说明 参考 配置 JDBC ...
使用SQL查询数据时如何选择查询方式
表格存储作为结构化大数据存储，支持不同的索引结构，便于在不同场景的查询分析加速使用。索引结构包括通过数据表主键进行的单行读（GetRow）和范围读（GetRange）、自定义配置主键的二级索引表以及支持倒排索引和多维空间索引的多元索引。...
2023年
Volume是MaxCompute提供的非结构化大数据存储方案，是OSS路径在数仓中的映射和管理对象。2023-03-30 全部地域 External Volume操作 2023-02 功能名称 功能描述 发布时间 发布地域 相关文档 增强显示数据对象SHOW命令 SHOW命令可以列出更细...
数据源管理概述
Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型 在内置的数据源类型中，未有所需接入的...
创建Impala数据源
在 新建数据源 对话框的 大数据存储 区域，选择 Impala。如果您最近使用过Impala，也可以在 最近使用 区域选择Impala。同时，您也可以在搜索框中，输入Impala的关键词，快速筛选。在 新建Impala数据源 对话框中，配置连接数据源参数。配置...
通过DataWorks将RDS SQL Server数据同步到...
在 新增数据源 对话框的 大数据存储 区域中，单击 SQL Server。在 新增SQL Server数据源 对话框中，填写数据源信息。数据源类型：本教程以 阿里云实例模式 为例，您也可以选择 连接串模式。各配置项的详细说明，请参见 配置SQLServer数据源...
主备双活
云HBase作为海量大数据存储天然适合数据量TB、PB级别的业务场景，同时提供主备容灾方案满足用户的高可用需求，再此基础上为了满足用户大数据量随机读低毛刺的要求新增追求稳定性的主备双活能力。使用场景 对随机读响应有高要求（P999小于50...
数据质量概述
功能介绍 数据质量支持对常见大数据存储（MaxCompute、E-MapReduce Hive、Hologres等）进行质量校验。从完整性、准确性、有效性、一致性、唯一性和及时性等多个维度，配置质量监控规则。并可以将质量监控规则与调度节点进行关联，当任务...
Hadoop使用JindoSDK访问OSS-HDFS服务
作为云原生数据湖基础，OSS-HDFS在满足EB级数据分析、亿级文件管理服务、TB级吞吐量的同时，全面融合大数据存储生态，除提供对象存储扁平命名空间之外，还提供了分层命名空间服务。分层命名空间支持将对象组织到一个目录层次结构中进行管理...
流式入库
Kudu也支持流式入库，但是Kudu的存储是自己设计的，不属于基于大数据存储系统之上的解决方案。本文以Kafka数据源为例介绍，其余数据源根据控制台提示操作即可。流式入库演变 阶段 详细情况 以前 以前针对流式入库的需求，通常都是自己动手...
通过DataWorks将HBase数据同步到Elasticsearch
在 新增数据源 对话框的 大数据存储 区域中，单击 HBase。在 新增HBase数据源 对话框中，填写 数据源名称 和 配置信息。使用的HBase版本不同，您需要填写不同的 配置信息：标准版及以下的版本：使用默认的配置信息，即 ZK链接地址 同时需要...
新功能发布记录
2021-12-01 部分 云盘异步复制概述 块存储 块存储数据洞察（EBS Lens）是阿里云针对块存储资源提供的数据分析、性能监控的一种功能。2021-12-01 部分 什么是块存储数据洞察 2021年11月 功能名称 功能概述 发布时间 发布地域 相关文档 快照 ...
- 产品推荐
- 这些文档可能帮助您