大数据云原生大数据计算服务 MaxCompute去重的相关内容

阿里云文档 2025-12-04

统一集成管理多种来源AI模型-模型-MaxCompute-阿里云

模型（Model）是MaxCompute中的核心对象之一。MaxCompute支持公共模型、导入模型、远程模型等多种类型的模型，并提供统一的模型与模型版本管理能力，帮助用户更便捷地将模型能力融入业务分析流程。本文将介绍MaxCompute模型对象的基本概念、功能优势、模型类型，以及模型的管理与使用方式。

阿里云文档 2025-10-27

MaxCompute AI Function提供低代码、多引擎支持的预定义函数，简化大模型与机器学习推理在大数据场景中的应用。更加便捷的通过SQL或Python调用大模型和机器学习能力。

AI Function是MaxCompute提供的一组面向AI业务场景的预定义函数，将复杂的AI推理操作封装为简洁的SQL或Python算子。用户无需编写底层模型调用代码，即可通过标准SQL或MaxFrame（分布式Python引擎）直接调用大模型或机器学习模型，显著降低用户在数据处理、大数据分析等场景的AI使用门槛。

阿里云文档 2025-10-24

本文介绍了使用VS Code、通义灵码和spark-submit工具自动生成PySpark任务代码并提交至EMR Serverless Spark的全流程方法，显著简化了开发与执行复杂度。

通过VS Code、通义灵码以及Serverless Spark提供的spark-submit工具，用户能够快速生成Spark任务代码并将其提交至Serverless Spark进行执行。本文将为您详细介绍如何使用上述工具提交Serverless Spark任务。

阿里云文档 2025-10-15

EMR旧版数据湖集群Knox代理将从2025年10月20日起停用域名访问，用户需改用节点IP地址以确保服务稳定性与安全性。

为提升系统安全性与稳定性，E-Mapreduce（简称EMR）计划对EMR旧版数据湖集群的Knox代理访问策略进行优化调整。自2025年10月20日起，EMR旧版数据湖集群的Knox服务将不再支持通过域名方式访问，用户需改用集群节点的IP地址进行访问。

阿里云文档 2025-10-10

容灾计划管理通过一键保存集群配置模板，支持15分钟内自动重建计算集群以保障业务连续性，但需配合独立的数据备份方案使用。

单可用区故障可能导致计算服务中断，手动重建集群耗时且易配置偏差。通过容灾计划管理功能，可一键式保存集群配置模板，在故障发生时15分钟内自动重建同规格计算集群，保障业务连续性。

问答 2024-08-16 来自：开发者社区

在大数据计算MaxCompute中，怎么解决开窗函数，排序后的不能去重这个问题？

问答 2023-10-29 来自：开发者社区

大数据计算MaxCompute多个array不去重，合并成一个array，有没有这样的函数啊?

大数据计算MaxCompute多个array不去重，合并成一个array，有没有这样的函数啊?有没有统计array里面每一项出现多少次的函数啊？

问答 2023-07-18 来自：开发者社区

大数据计算MaxCompute输入数据量确实变小，但是输出到主键表后，他们按照主键去重数据，这部

"大数据计算MaxCompute输入数据量确实变小，但是输出到主键表后，他们按照主键去重数据，这部分会发生费用吗？"

问答 2023-07-18 来自：开发者社区

大数据计算MaxCompute正常我们有个亿级的表，我来测试下主键模型去重每天的计算成本是多少？正常

大数据计算MaxCompute正常我们有个亿级的表，我来测试下主键模型去重每天的计算成本是多少？正常一次计算sql成本是1块钱多钱？

文章 2022-02-15 来自：开发者社区

【大数据技巧】MaxCompute优化去重计算的性能

免费开通大数据服务：https://www.aliyun.com/product/odps 转载自dachuan 随着双十一数据量的暴增，之前用distinct去重可以简单处理的场景，现在消耗的时间成倍增长。如果用了multiple distinct，那就更要警惕，因为多重去重本身会带来数据量的成倍增长，很可能10分钟的任务，在双十一期间会跑上几个小时都没有结果。这里介绍一个小技巧，其实在稳定....