阿里云文档 2025-11-24

如何在DLC中使用PerfTracker进行性能诊断

PerfTracker是一个用于大模型训练的在线性能分析诊断工具,基于高精度的软硬件全栈信息在线监控。当任务性能出现问题时,它能在线获取各个Worker的所有CUDA核函数、Python函数执行记录及硬件监控记录,并生成分析报告,自动化诊断性能损失原因,如慢节点定位、瓶颈/耗时异常函数以及Hang问题等。本文为您介绍如何使用PerfTracker。

阿里云文档 2025-09-08

SWING算法工具使用文档

Swing 是阿里巴巴原创的一种新的match算法,不同于传统基于“点”的节点亲密度(proximity)计算方式,如:Common Neighbors, Adamic/Adar, Cosine Similarity, Jaccard Similarity, Wb-cosine, Rooted PageRank等,Swing会考虑网络结构信息,以高维的网络结构向二跳节点扩展,抗噪能力强,相比传统的...

文章 2025-05-02 来自:开发者社区

mlop.ai 无脑使用教程 (机器学习工具 WandB/ClearML 的首个国区开源平替)

mlop.ai 是一个主流解决方案的平替(如ClearML, Comet, WandB),并专为中国用户提供优化支持,免费开源。 常规实验追踪的工具经常大幅人为降速,mlop则底层基于Rust,不受此问题影响,并主动支持企业级高频数据写入。 此文案由官方许可后,基于其辅助文档docs....

mlop.ai 无脑使用教程 (机器学习工具 WandB/ClearML 的首个国区开源平替)
文章 2024-11-27 来自:开发者社区

机器学习中评估模型性能的重要工具——混淆矩阵和ROC曲线。混淆矩阵通过真正例、假正例等指标展示模型预测情况

在机器学习中,评估模型的性能是至关重要的环节。混淆矩阵和 ROC 曲线是两种常用的评估工具,它们能够提供关于模型预测结果的详细信息。本文将深入探讨混淆矩阵与 ROC 曲线的原理、计算方法以及在 Python 中的应用。 一、混淆矩阵 混淆矩阵是一种以矩阵形式呈现的评估指标,它能够展示模型在不同类别上的预测情况。混淆矩阵的行表示实际类别,列表...

文章 2024-07-13 来自:开发者社区

OpenCV(Open Source Computer Vision Library)是一个开源的计算机视觉和机器学习库,它提供了大量的函数和工具,用于处理图像和视频数据。

1. 引言 OpenCV(Open Source Computer Vision Library)是一个开源的计算机视觉和机器学习库,它提供了大量的函数和工具,用于处理图像和视频数据。在对象检测领域,OpenCV的CascadeClassifier类是一个非常重要的工具,它允许我们使用预训练的XML分类器文件来检...

文章 2024-07-05 来自:开发者社区

Python在社交媒体分析中扮演关键角色,借助Pandas、NumPy、Matplotlib等工具处理、可视化数据及进行机器学习。

用Python进行社交媒体分析:挖掘用户行为和趋势随着社交媒体的普及,用户在社交媒体上的行为和互动数据已经成为企业营销、品牌推广和用户研究的重要数据来源。Python作为一种功能强大、简单易学的编程语言,在社交媒体分析领域具有广泛的应用。本文将介绍如何使用Python进行社交媒体分析,挖掘用户行为和趋势。一、Python在社交媒体分析中的优...

文章 2024-06-13 来自:开发者社区

Python机器学习工具与库的现状,并展望其未来的发展趋势

一、引言 在当今这个数据驱动的时代,机器学习技术已成为各行各业不可或缺的一部分。Python作为一种通用编程语言,凭借其简洁的语法、丰富的库和强大的社区支持,在机器学习领域占据了举足轻重的地位。本文将探讨Python机器学习工具与库的现状,并展望其未来的发展趋势。 二、Python机器学习工具与库的现状 Python机器学习领域的繁荣得益于...

文章 2024-04-30 来自:开发者社区

【Python机器学习专栏】Python机器学习工具与库的未来展望

一、引言 在当今这个数据驱动的时代,机器学习技术已成为各行各业不可或缺的一部分。Python作为一种通用编程语言,凭借其简洁的语法、丰富的库和强大的社区支持,在机器学习领域占据了举足轻重的地位。本文将探讨Python机器学习工具与库的现状,并展望其未来的发展趋势。 二、Python机器学习工具与库的现状 Python机器学习领域的繁荣得益于...

文章 2024-01-29 来自:开发者社区

基于Megatron-Core的稀疏大模型训练工具:阿里云MoE大模型最佳实践

作者:李鹏,颜子杰,王明,颜海强,刘振寰,黄俊单位:阿里云人工智能平台PAI,NVIDIA DevTech Team概述随着大模型技术的不断发展,模型结构和参数量级快速演化。大模型技术的应用层出不穷。大模型展现惊人效果,但训练和推理成本高,一直是巨大挑战。模型稀疏化能降低计算和存储消耗。近期以Mixtral为代表的MoE(多专家混合)大模型证明了稀疏MoE技术能大幅降低计算量、提升推理速度,模型....

基于Megatron-Core的稀疏大模型训练工具:阿里云MoE大模型最佳实践
问答 2024-01-16 来自:开发者社区

机器学习PAI阿里云有那种离在线数据源分开的特征平台工具吗?

机器学习PAI阿里云有那种离在线数据源分开的特征平台工具吗?(Ps:没有开通在线数据源相关的工具)

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云机器学习平台PAI

阿里云机器学习PAI(Platform of Artificial Intelligence)面向企业及开发者,提供轻量化、高性价比的云原生机器学习平台,涵盖PAI-iTAG智能标注平台、PAI-Designer(原Studio)可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台,支持千亿特征、万亿样本规模加速训练,百余落地场景,全面提升工程效率。

+关注