简单、易用、稳定可靠的 SaaS 模式云数据仓库服务, 助您轻松低成本大数据上云。
云原生大数据计算服务 MaxCompute
MaxCompute预集成多种服务,用户可使用标准SQL直接进行开发,简单易上手。
分布式计算框架MaxFrame支持Python编程接口、兼容Pandas接口且自动分布式计算,适用于大规模数据处理、科学计算、机器学习、AI 开发等场景。
MaxCompute支持与人工智能平台 PAI无缝集成,用户可基于机器学习平台的算法组件实现对MaxCompute数据进行模型训练等操作,通过云原生大数据预处理能力,为大模型等AI深度学习场景提供数据AI整合能力。
阿里云MaxCompute在原有的离线批处理引擎基础上升级架构,推出了近实时数仓解决方案。基于Delta table实现了增全量数据一体化存储和管理,并且推出了丰富的增量计算能力,同时升级了MaxCompute短查询加速(MCQA2.0)以支持查询秒级返回。
基于Delta Table增量表格式,MaxCompute增加了增量物化视图(Materialized View)、Time Travel以及Stream Table等一系列的能力。
与实时数仓Hologres深度融合,Hologres支持MaxCompute元数据的批量导入,无需手工创建外表;支持存储层直读,使用Hologres对MaxCompute数据进行查询加速,性能优化超10倍以上。
MaxCompute提供湖仓一体2.0方案,允许用户建立定义外部数据源元数据和数据访问方式的管理对象,并通过外部Schema映射机制实现直接访问外部数据源Database或Schema范围内的全部表的功能。该方案可以打破数据湖与数据仓库割裂的体系,并将数据湖的灵活性、丰富的多引擎生态与数据仓库的企业级能力进行融合,助力构建数据湖和数据仓库相融合的数据管理平台。
为了更好地融入大数据生态,并支持外部引擎访问MaxCompute中的数据,MaxCompute提供了开放存储(Storage API)。第三方主流计算引擎可通过调用Storage API直接访问MaxCompute的底层存储,从而显著提升数据访问和交互效率。
MaxCompute细化了项目(Project)、资源Quota、网络连接对象(Networklink)以及项目内的表(Table)、函数(Function)、资源(Resource)及实例(Instance)对象的操作,同时还支持对Tunnel下载、敏感数据访问及跨项目访问等行为进行管控。在项目实际运行过程中,可根据人员操作范畴进行精细化授权,为各对象安全提供可靠保障。
MaxCompute数据脱敏在最靠近数据从存储中读取的环节实现,在保障安全性的同时又能兼顾性能,可确保数据在查询、下载、关联、UDF计算时已经处于脱敏状态,避免敏感数据泄露风险。
脱敏策略支持掩码、散列、字符替换、数值取整、日期取整等脱敏策略,支持与数据保护伞的数据分类分级功能联动,满足用户对身份信息、银行卡号、地址、电话等数据的脱敏需求。
MaxCompute在安全访问控制基础上,还提供了基于IP白名单的控制方式。当MaxCompute项目开启白名单功能后,仅允许白名单内的设备访问项目空间,非白名单内的设备访问项目空间时,即使拥有正确的AccessKey ID及AccessKey Secret,也无法通过鉴权。
阿里云MaxCompute已在各行各业得到广泛应用,并对客户提供最高99.9%的服务可用性承诺,详情可参见MaxCompute服务等级协议。