阿里巴巴提出USI 让AI炼丹自动化了,训练任何Backbone无需超参配置,实现大一统！
1主要贡献为ImageNet数据集引入了一个统一的、高效的训练方案，USI，它不需要超参数调整。完全相同的配置也适用于任何Backbone。因此，ImageNet训练从一个面向专业炼丹师的任务转变为一个自动化的过程。在各种深度学习模型上测试了USI，包括类似于ResNet、MobileNet、基于Transformer和MLP-base的模型。与每个模型的定制方案相比，USI的性能优秀得到了证明....
CVPR2022 | 在线Re-Param | OREPA让AI训练速度进一步加快，精度略胜RepVGG！（二）
4实验4.1 消融实验1、线性缩放层和优化多样性图7首先进行实验来验证核心思想，即所提出的线性缩放层与BN层起着相似的作用。根据3.4中的分析。文章展示了缩放层和BN层都能够多样化优化方向。为了验证这一点，作者可视化了图7中所有分支的分支级相似性。作者发现，缩放层的使用可以显著增加不同分支的多样性。在表2中验证了这种多样性的有效性。以ResNet-18结构为例，这两种层（BN和线性缩放）带来了相....
CVPR2022 | 在线Re-Param | OREPA让AI训练速度进一步加快，精度略胜RepVGG！（一）
1简介卷积神经网络(CNNs)已经在许多计算机视觉任务的应用成功，包括图像分类、目标检测、语义分割等。精度和模型效率之间的权衡也已被广泛讨论。一般来说，一个精度较高的模型通常需要一个更复杂的块，一个更宽或更深的结构。然而，这样的模型总是太重，无法部署，特别是在硬件性能有限、需要实时推理的场景下。考虑到效率，更小、更紧凑和更快的模型自然是首选。为了获得一个部署友好且高精度的模型，有研究者提出了基于....
7 Papers | 英伟达64个A100训练StyleGAN-T；9类生成式AI模型综述
参与：杜伟、楚航、罗若天本周重要论文包括 6 大公司推出的 9 类生成式 AI 模式综述以及英伟达等机构推出的升级版 StyleGAN 等研究。目录：Quantum machine learning beyond kernel methodsWearable in-sensor reservoir computing using optoelectronic polymers with thro....
7 Papers & Radios | 无残差连接训练深度transformer；DeepMind写代码AI登Science封面
本周主要论文包括：首次无残差连接或归一化层也能训练深度 Transformer 的探索性研究，以及 DeepMind携其写代码 AI AlphaCode 登上了 Science 封面，写代码能力不输程序员。目录：Competition-level code generation with AlphaCodeInverse scaling can become U-shaped FedALA: A....
Sea AI Lab和北大Adan项目原作解读：加速训练深度模型的高效优化器
自 Google 提出 Vision Transformer (ViT)以来，ViT 渐渐成为许多视觉任务的默认 backbone。凭借着 ViT 结构，许多视觉任务的 SOTA 都得到了进一步提升，包括图像分类、分割、检测、识别等。然而，训练 ViT 并非易事。除了需要较复杂的训练技巧，模型训练的计算量往往也较之前的 CNN 大很多。近日，新加坡 Sea AI Lab 和北大 ZERO Lab....
机器学习中的新数学，加速AI训练离不开数字表示方式和基本计算的变革
机器之心编译机器之心编辑部本文详细介绍了英伟达的每向量缩放量化方案、新的数字格式 Posits 以及如何降低 RISC-V 的数学风险。近年来 AI 领域的发展令人震惊，但为完成这些壮举而训练神经网络的成本也异常巨大。以大规模语言模型 GPT-3 和艺术生成器 DALL-E 2 为例，它们需要在高性能 GPU 集群上训练数月时间，耗资数百万美元，消耗百万亿计的基本计算。同时，处理单元的训练能力一....
登顶全球最权威AI性能基准评测，百度飞桨给分布式训练创造了标杆
大模型时代，飞桨产业级平台的优势开始显现。从问答、翻译、作画再到写论文，最近一段时间，实现各种神奇能力的 AI 总有个「大模型」的称号。在工业界，大模型也被视为重要的发展方向，它既可以减少机器学习训练对数据标注的需求，又无需手写专家知识，降低了 AI 应用的行业门槛。在业界和一些科学领域，人工智能已经进入了「炼大模型」的新阶段。然而天下没有免费的午餐，大模型带来了 AI 能力的突破，也对算力提出....
现在都2202年了，用CPU做AI推理训练到底能不能行？
CPU 不适合模型推理和训练？那已经是老刻板印象了，英特尔® 至强® 可扩展处理器搭配 AVX-512 指令集，单核一次能同时进行 128 次 BF16 浮点运算，这对于一般的深度学习模型不论在训练还是推理已经是足够的了。说到模型训练，很多算法工程师首先想到的就是各种深度学习框架，以及 CUDA、cuDNN、NCCL 等 GPU 训练环境，似乎我们很少优先考虑在 CPU 上直接训练模型。这可能是....
大模型时代，那些一起训练AI模型的企业是怎么应对数据顾虑的？
为训练数据建一个TB级计算「飞地」，联邦学习的靠谱实现方式了解一下？2017 年，著名杂志《经济学人》发表封面文章称，数据已经取代石油成为当今世界最有价值的资源。在那之后，「数据是新时代的『石油』」这一说法逐渐深入人心。图源：https://twitter.com/theeconomist/status/860135249552003073五年后的今天，人们对数据的重视又上了一个新的台阶，尤其是....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
AI更多训练相关
产品推荐
阿里云机器学习平台PAI
阿里云机器学习PAI（Platform of Artificial Intelligence）面向企业及开发者，提供轻量化、高性价比的云原生机器学习平台，涵盖PAI-iTAG智能标注平台、PAI-Designer（原Studio）可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台，支持千亿特征、万亿样本规模加速训练，百余落地场景，全面提升工程效率。
+关注