高峰时段数十万核计算资源的快速弹性扩展
计算资源利用率提升
运维资源投入减少
MiniMax 是全球先进的通用人工智能科技公司。自 2022 年初成立以来，MiniMax 以“与所有人共创智能”为使命，致力于推动人工智能科技前沿发展，实现通用人工智能（AGI）。
MiniMax 自主研发了一系列多模态通用大模型，包括 MiniMax M1、Hailuo 02、Speech 2.5 和 Music 01 等，具备超长上下文处理能力，能够理解、生成并整合包括文本、音频、图像、视频和音乐在内的多种模态。自研模型的飞速进展，有力支撑了 MiniMax 的全球业务拓展。迄今，MiniMax 的自研多模态模型及 AI 原生应用已累计为来自超过 200 个国家及地区的逾 1.57 亿名个人用户，以及来自超过 90 个国家及地区的 50,000 余名企业客户以及开发者提供服务。
在大模型技术迅猛发展的背景下，数据与人工智能的深度融合已成为企业构建核心竞争力的关键要素。大模型训练持续驱动大规模数据处理技术升级迭代，对计算弹性、预处理算子性能及统一数据治理体系提出了更高要求。基于 MiniMax 在阿里云云原生数仓解决方案上的深度业务实践，双方正持续探索更先进的大规模数据处理与 AI 融合解决方案，致力于通过阿里云 MaxFrame 等新一代计算框架，进一步提升数据处理效能，加速 AI 创新落地。
-
资源弹性瓶颈
模型训练节奏快，常需临时调用大规模弹性资源，对 PB 级数据进行短时高效预处理，并在任务完成后快速释放资源。传统架构难以兼顾资源弹性、处理时效与成本控制。
-
预处理算子性能不足
数据预处理过程中常出现文件大小限制、内存溢出（OOM）、全量 MinHash 去重任务无法完成等问题，导致作业成功率低、稳定性差，严重影响整体流程效率。
-
缺乏统一任务管理与可视化支持
原有流程依赖 Python 程序完成开发、调试与生产任务，缺少可视化任务开发、管理、调度和运维能力，多参数迭代效果评估困难，开发效率低下。
-
开发与运维人力投入受限
自研数据预处理（如 Common Crawl 数据集处理等）需投入大量人力进行开发与维护，团队难以专注于核心 AI 业务创新。
MiniMax 基于阿里云 MaxCompute 构建了全托管、一站式 Data+AI 数据处理平台，并通过 MaxFrame 分布式计算框架实现了对多类数据（结构化与非结构化、多模态等）的统一管理与弹性伸缩的大规模预处理能力。
（1）阿里云自研分布式计算框架，统一 Python 开发生态，同时无缝对接 MaxCompute 计算资源、数据；
（2）提供兼容开源的分布式算子，如 Pandas、Minhash 等，大大提高数据处理效率；
（3）支持分布式数据处理、离线推理等场景，构建 Data+AI 开发整体 Pipeline；
（4）提供开箱即用的 Python 环境，支持用户自定义镜像，提供更便捷的开发体验。
通过引入 MaxFrame 分布式计算框架，MiniMax 在资源利用率、处理效率与平台架构方面实现显著提升：
-
资源利用率显著提高
-
借助 MaxCompute“包月固定资源 + 按需弹性资源”组合模式，MiniMax 可根据业务周期灵活调配资源，高峰时段支持数十万核计算资源的快速弹性扩展；
-
实现计算资源利用率提升 30%，在资源效率与成本间取得最优平衡；
-
通过 MaxCompute 原生存储冷热分层能力，对低热度大表自动实施低频/长期存储策略，历史数据存储成本降低 40%。
-
-
分布式计算框架带来性能突破
-
基于 MaxFrame 构建的分布式计算架构替代原有开源方案，其内置高性能 Minhash 等优化算子，缩短大模型数据预处理任务耗时；
-
加载 FastText 模型完成文本分类任务，利用 MaxCompute 弹性 CPU 资源执行批量推理，显著提升处理效率。
-
-
数据平台完成架构升级，运维效率提升
基于 MaxCompute MaxFrame 构建国内外一体化 Data+AI 数据处理平台，依托全托管云原生 PaaS 能力，显著降低自研与维护成本，运维资源投入减少 50%；实现开发、调度、运维闭环统一管理，支持多模态数据与复杂 AI 工作流的高效协同。
MiniMax 与阿里云在大模型时代构建的以云原生数据仓库为核心的高效、低成本 Data+AI 一体化数据处理平台，有效应对业务高速迭代与弹性扩展挑战。该方案不仅实现了数据处理效能的显著提升和运营成本的大幅优化，也为大模型驱动下的 AI 应用研发提供了可广泛复用的工程范式。未来，双方将持续深化在大模型数据预处理、多模态数据处理等前沿场景的联合创新，共同推动 Data+AI 技术在全球范围内的规模化产业应用。