方案背景
表格存储是一款阿里云自研的分布式NoSQL服务，可以提供超大规模的存储容量，支撑超大规模的并发访问和低延迟的性能，可以很好的解决气象数据的规模和查询性能问题。本方案主要通过表格存储来实现气象格点数据的存储和查询。挑战一：数据...
什么是基因分析平台？
相比于其他用户方案，基因分析平台提供完整的Serverless基因计算服务，简单易用、经济高效、灵活可靠、且超大规模。结合阿里云海量的存储计算资源、连通测序上下游的用户网络、以及数据和应用的生态合作伙伴，基因分析平台广泛用于基因组学...
什么是阿里云实时计算Flink版
在性能上，具备单核CPU每秒数十万条记录处理能力，可实现端到端亚秒级数据处理延迟，可支持数万并发超大规模实时任务计算。在稳定性上，服务分布式集群计算无单点，保障高可用。在功能上，提供数十种作业指标监控和一站式开发界面，支持SQL...
什么是MaxCompute
MaxCompute适用于100 GB以上规模的存储及计算需求，最大可达EB级别，并且MaxCompute已经在阿里巴巴集团内部得到大规模应用。MaxCompute适用于大型互联网企业的数据仓库和BI分析、网站的日志分析、电子商务网站的交易分析、用户特征和兴趣...
基本概念
分片（Shard）在超大规模海量数据处理场景下，单台服务器的存储、计算资源会成为瓶颈。为了进一步提高效率，云数据库ClickHouse 将海量数据分散存储到多台服务器上，每台服务器只存储和处理海量数据的一部分，在这种架构下，每台服务器被...
产品优势
高性能&低成本 超大规模数据写入实时可见，确保数据的强一致性。支持秒级甚至毫秒级对海量数据进行查询和计算，复杂SQL查询速度相比传统的关系型数据库快10倍。支持计算资源按需在线扩缩容、分时弹性和按需弹性等功能；同时支持 冷热数据...
临时存储费用
文件副本在解冻时间结束前会计算存储费用，在解冻时间结束后会自动删除。按小时计费（账单出账时间通常在当前计费周期结束后，具体出账时间以系统为准）。按量付费：临时存储费用=解冻文件大小（GB）×月单价÷30（天）÷24（小时）资源包...
CPFS并行文件存储
产品架构 CPFS并行文件存储 是针对高性能和超大规模存储场景推出的文件存储产品，可结合云上、云下多级存储池，拥有全新的文件存储架构。该产品单集群最大可扩展至16384个节点，提供高性能、高可扩展性、低时延的分布式文件存储服务。可...
产品系列
产品系列 湖仓版（3.0）湖仓版（3.0）是基于计算存储分离架构打造的，同时具备低成本离线处理和高性能在线分析能力的湖仓一体版本。在数仓版的能力基础上，从数据的采集、存储、计算和应用等方面做了全面的升级。提供将源端数据实时同步到...
成本追踪
计算存储价格时需要将字节数相加并计算一个24小时的平均值，之后再按照阶梯定价的公式进行计算最终得到存储价格。计量信息是以每一条任务的结束时间为准，如果某条任务的结束时间是第二天凌晨，那么这条任务的计量时间就会计入第二天，不会...
产品优势
超大规模的图数据存储：单图存储量支持百T级别，集群存储量支持千亿点、万亿边规模。丰富的索引类型：提供多种索引类型，如KV索引、KKV索引、内置文本检索、向量索引。高性能的算子：兼容开源Gremlin查询算子，平滑对接图计算生态。同时...
应用场景
超大规模GPU算力系统，全对等网络架构，全资源池化，可以搭配PAI（机器学习平台）使用，支持多种训练框架（Pytorch、TensorFlow、Caffe、Keras、Xgboost、Mxnet等），可以满足多种规模的AI训练和推理业务。AI基础设施。平滑扩容。满足不同...
产品架构
Storage Disaggregation（存储计算分离架构）存储和Shared Storage类似，有一个分布式的共享存储集群，计算层处理数据的模式和Shared Nothing类似，数据是分片的，每个Shard只处理自己所在分片的数据，每个计算节点还可以有本地缓存。存储...
OSS小时数据
文件副本在解冻时间结束前会计算存储费用，在解冻时间结束后会自动删除。SelectScanSize Integer 300 按SelectObject扫描的原文件实际大小计费。TagCount Integer 100 按照Bucket内的对象标签数量计费。StartTime String 2022-12-01T09:12:...
快速玩转Tablestore入门与实战
表格存储 面向海量结构化数据提供Serverless表存储服务，可以提供超大规模的存储容量，支撑超大规模的并发访问和低延迟的性能，可以轻松解决科学大数据的海量存储规模和查询性能问题。基于Tablestore的海量气象格点数据解决方案实战 互联网...
PAI灵骏智算服务概述
计算存储分离架构广泛存在于AI、HPC、大数据业务场景中，但大量训练数据的加载容易形成效率瓶颈。阿里云通过高性能数据主动加载加速软件KSpeed，实现数据IO数量级性能提升。GPU容器虚拟化方案eGPU。针对AI作业规模庞大、GPU硬件资源昂贵、...
应用场景
云上自建数据库 DBFS为数据库场景量身打造的特性，非常适合云上用户自建数据库（例如：MySQL，PostgreSQL等），实现存储计算分离：对比项 DBFS 本地盘 极致性能 帮助用户实现数据库存储计算分离，为数据库可在云端存储可获得的最佳性能收益...
什么是数据库存储DBFS
存储计算分离：自建数据库实现存储计算分离，获得优于单纯基于云盘架构的性能、易用性、容量弹性及成本节省等。MySQL数据库：关闭Double Writer Buffer。在线扩容 支持业务友好的在线扩充存储容量。用户不需要单独购买，默认支持。存储容量...
常见问题
表格存储 面向海量结构化数据提供Serverless表存储服务，可以提供超大规模的存储容量，支撑超大规模的并发访问和低延迟的性能，能够轻松解决科学大数据的海量存储规模和查询性能问题。互联网大数据 热点新闻及娱乐八卦可以在短短数分钟内...
功能特性
Spark 向量计算 Proxima CE Proxima CE 是基于Proxima2.x内核提供的超大规模离线向量检索引擎，用于支持批量离线向量检索任务，包括基础的向量检索、多类目检索及百万TopK检索等功能。向量计算 Proxima CE 存储 表是MaxCompute的数据存储...
CDH6数据迁移
本文介绍如何将CDH中本地HDFS的数据迁移到 文件存储 HDFS 版，实现存储计算分离。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已在阿里云上创建ECS实例并安装CDH6集群。...
设备数据存储和计算实践
本文介绍如何存储和计算已接入物联网平台设备的数据，以挖掘设备数据更多的价值。背景信息 物联⽹平台数据一般来⾃于已接入的智能设备、传感器设备等。只要设备在运⾏中，就会持续不断地产⽣设备数据。设备数据的使⽤价值根据场景千差万别...
安全白皮书
实时计算Flink版完全兼容开源Apache Flink API，从访问控制、网络、存储、备份恢复、操作审计等方面，提供全面的安全加固功能来保障您的数据安全。租户隔离 支持多租户的使用场景，通过阿里云账号认证体系（认证方式采用AccessKey对称密钥...
整体架构
云原生数据仓库AnalyticDB MySQL版 是阿里巴巴自主研发、经过超大规模以及核心业务验证的PB级实时数据仓库。概述 自2012年第一次在集团发布上线以来，AnalyticDB MySQL版 至今已累计迭代发布近百个版本，支撑起集团内的电商、广告、物流、...
2023年
2023-03-30 全部地域 利用MaxCompute External Volume处理非结构化数据 推出向量计算引擎Proxima CE Proxima CE是超大规模离线向量检索引擎，用于支持批量离线向量检索任务，包括基础的向量检索、多类目检索及百万TopK检索等。2023-03-30 ...
评估合适的云服务
在进行高性能架构设计时，首先需要关注的是计算、存储、网络等基础云服务的选择。充分了解自身业务特征及指标，熟悉架构主要组件所涉及云产品方案类型，有利于业务和工作负载在不同的产品方案中受益，并使系统架构得以持续优化。数据库的...
超级计算集群概述
通用型超级计算集群实例规格族sccg7 计算型超级计算集群实例规格族sccc7 高主频计算型超级计算集群实例规格族scchfc6 高主频通用型超级计算集群实例规格族scchfg6 高主频内存型超级计算集群实例规格族scchfr6 高主频型超级计算集群实例规格...
2023年
迁移服务（MMA）2023-11-10 新增分层存储 新说明 MaxCompute分层存储支持标准存储、低频存储和长期存储，默认情况下为标准存储。您可以根据数据的访问频率，将某些表或分区的存储类型设置为低频存储或长期存储，以降低数据存储费用。分层...
资源使用优化
为最大化提升资源使用率，在如在线业务弹性、大规模计算训练、深度学习GPU或共享GPU的训练与推理、定时周期性负载变化等场景均有较大的适用空间。弹性伸缩服务支持两个维度，第一个是调度层的弹性，主要是负责修改负载的调度容量变化。例如...
选型推荐
SSD云盘/ESSD云盘 SSD云盘/ESSD云盘 推荐场景 小规模日志/数据共享存储、小型网站、自建FTP 日志/数据共享存储、共享目录、自建FTP、小型网站、数据归档、多地数据共享、备份数据仓库 中型网站，日志/数据统一存储，共享目录（VDI），大...
JindoFS介绍和使用
JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS的访问；提供块存储模式（Block），以充分利用OSS的海量存储能力和优化文件系统元数据的操作。JindoFS纯客户端模式（SDK...
计费概述
存储指标类型 专家版按量计费 基础指标 超过15天的存储费用为：根据每天的指标上报数量，以存储每百万条指标每天计费0.01 元 进行累计计算。自定义指标 包年包月方式 可观测监控 Prometheus 版 包年包月方式按照容量规格和指标存储时长计费...
计费概述
存储指标类型 专家版按量计费 基础指标 超过15天的存储费用为：根据每天的指标上报数量，以存储每百万条指标每天计费0.01 元 进行累计计算。自定义指标 包年包月方式 可观测监控 Prometheus 版 包年包月方式按照容量规格和指标存储时长计费...
方案背景
因此车联网场景下车辆元数据存储与分析的需求如下：数据存储：车辆元数据定时上报到数据网关并且转发到下游存储，需要支持大规模数据存储。数据更新：海量车辆元数据会频繁更新，需要支持数据高并发实时更新。数据检索：根据车辆的参数检索...
NAS存储卷概述
并行计算场景加速数据读取 利用计算节点的内存构建分布式数据缓存池，缓存池可随计算规模自动扩缩容，实现对NAS存储卷中热数据的访问加速。在AI训练、生命计算等场景推荐开启。具体操作，请参见 开启CNFS NAS计算端分布式缓存。持久化应用...
技术面临的挑战与革新
存储计算分离是近年来分布式系统设计架构的潮流，从2001年开始Google的GFS开创先河地开始使用了普通X86服务器和硬盘搭建了大规模的存储，虽然受限于当时网络的传输速度，和机器间的带宽，还是需要耦合计算和存储节点的分布。但是随着底层...
简介
云渲染管理系统（Render Manager 简称渲管）是一个开源的 Web 应用，可以帮助用户轻松搭建阿里云上的私有渲染系统，直接调用海量计算资源，一键管控集群规模，在加速渲染任务的同时省去自建集群的烦恼。渲管建立在阿里云 BatchCompute、OSS...
产品概述
什么是PolarDB PolarDB 是阿里巴巴自研的新一代云原生数据库，在计算存储分离架构下，利用了软硬件结合的优势，为用户提供具备极致弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态，高度兼容Oracle语法。...
NAS存储卷概述
并行计算场景加速数据读取 利用计算节点的内存构建分布式数据缓存池，缓存池可随计算规模自动扩缩容，实现对NAS存储卷中热数据的访问加速。在AI训练、生命计算等场景推荐开启。具体操作，请参见 开启CNFS NAS计算端分布式缓存。持久化应用...
切换存储计费类型
PolarDB的计算和存储分离，计算支持 按量付费 和 包年包月 两种计费类型，存储支持 按容量计费（按量付费）和 按空间计费（包年包月）两种计费类型。按容量计费（按量付费）和按空间计费（包年包月）两种存储计费类型不支持单独互转，仅...
- 产品推荐
- 这些文档可能帮助您