微软提出自动化神经网络训练剪枝框架OTO，一站式获得高性能轻量化模型
作者： 陈天翼-微软西雅图-高级研究员OTO 是业内首个自动化、一站式、用户友好且通用的神经网络训练与结构压缩框架。在人工智能时代，如何部署和维护神经网络是产品化的关键问题考虑到节省运算成本，同时尽可能小地损失模型性能，压缩神经网络成为了 DNN 产品化的关键之一。DNN 压缩通常来说有三种方式，剪枝，知识蒸馏和量化。剪枝旨在识别并去除冗余结构，给 DNN 瘦身的同时尽可能地保持模型性能，是最为....
微软提出MiniViT | 把DeiT压缩9倍，性能依旧超越ResNet等卷积网络（二）
3青出于蓝3.1 Weight Multiplexing权重共享的潜力已经在自然语言处理中得到了证实;然而，其在Vision Transformer中的作用尚不清楚。为了检验这一点，作者直接将跨层权重共享应用于DeiT-S和Swin-B模型，并观察2个问题:训练不稳定性能下降图4根据作者的实验分析，不同层之间权值的严格一致性是问题的主要原因。其中，权重共享后的梯度ℓ2-范数较大，在不同的Tran....
微软提出MiniViT | 把DeiT压缩9倍，性能依旧超越ResNet等卷积网络（一）
1简介大规模预训练的Vision TRansformer，如ViT, CvT和Swin，由于其高性能和下游任务的优越性能，最近引起了极大的关注。然而，它们通常涉及巨大的模型尺寸和大量的训练数据。例如，ViT需要使用3亿张图像来训练一个带有6.32亿参数的巨大模型，才实现了图像分类的最先进性能。同时，Swin使用2-3亿个参数，并在ImageNet-22K上进行了预训练，以在下游检测和分割任务上取....
伯克利与微软联合发布：任意网络结构下的最优GPU通信库Blink
在分布式机器学习中，随着 GPU 的算力不断提升，GPU 之间的通信逐渐成为模型训练的瓶颈。为解决该问题，由微软研究院 (Microsoft Research)，加州大学伯克利分校 (UC Berkeley)，以及威斯康星大学麦迪逊分校 (University of Wisconsin-Madison) 的研究团队共同推出，在任意网络结构下，实现最优解的 GPU 间通信库 Blink。论文链接：....
黄学东：微软TTS，第一款实时神经网络语音合成服务
一个月之前，微软发布了基于深度神经网络的文本到语音（text-to-speech，TTS）系统，并且做为 Azure 认知服务中的一项，提供面向客户的预览版本。就此，我们采访了微软语音、自然语言与机器翻译的技术负责人黄学东，他向我们展示了一系列 TTS 生成的「真假难辨」的语音样例，并分享了微软在 TTS 一途上的经历与考量。下面的视频里包括了三段录音与三段合成音，你能分辨出机器与人声的区别吗？....
华为AI芯片+微软研发=第一款移动端离线推理神经网络
Microsoft Translator 是一款部署在 iOS 和 Android 平台上的应用，支持包括英文、中文等在内的超过 60 种语言的互译。其翻译模式按照输入类别可以分为三种，分别是文本翻译（text）、图像翻译（photo）和语音翻译（voice）。其中图像翻译是借助 OCR 技术，读取出图片内的文本然后进行翻译，语音翻译则借助了语音识别技术。按照翻译所用的模型类别，则可以分为在线的....
政府安全资讯精选 2018年第七期 国家制造强国建设领导小组设立工业互联网专项工作组；美国最高法院受理微软与司法部隐私权诉案 6月底前作出裁决；美国证券交易委员会公布网络安全风险新指引
【国内政策动态】国家制造强国建设领导小组设立工业互联网专项工作组 概要：国家制造强国建设领导小组下将设立工业互联网专项工作组，统筹协调我国工业互联网发展的全局性工作，审议推动工业互联网发展的重大规划、重大政策、重大工程专项和重要工作安排，加强战略谋划，指导各地区、各部门开展工作，协调跨地区、跨部门重要事项，加强对重要事项落实情况的督促检查。 点评：近年来，政府加强对工业互联网发展的投...
SkyDrive Explorer 把微软25GB网络硬盘搬进“我的电脑”
原文：http://sinojelly.20x.cc/2010/02/08/skydrive-explorer-把微软25gb网络硬盘搬进“我的电脑”/ SkyDrive Explorer 把微软25GB网络硬盘搬进“我的电脑” 作者：Tim Huang 众所周知，微软很早就提供了免费的25G网络硬盘&n...
10月第1周安全回顾 微软下周发补丁包 小型僵尸网络增多
本文同时发表在：[url]http://netsecurity.51cto.com/art/200710/57550.htm[/url] 上周(1001至1007)天气晴好，大家应该都过了一个快乐的长假，J0ker也顺祝大家明天上班顺利——信息安全无休假，本周安全领域值得关注的新闻集中在漏洞补丁、安全规范、恶意软件和攻击趋势方面。 漏洞补丁：Microsoft 十月补丁...
4月第2周安全回顾 微软发布4月补丁 新僵尸网络出现
本文同时发表在：[url]http://netsecurity.51cto.com/art/200804/69714.htm[/url] 本周（080407至080413）信息安全威胁等级为中。由于本周是Microsoft每月发布例行补丁升级的时间，同时多个安全厂商也检测到黑客正在使用MS08021（EMF/WMF GDI漏洞）发起大规模的网络攻击活动，因此威胁等级上调到中。笔者建议...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
域名解析DNS
关注DNS行业趋势、技术、标准、产品和最佳实践，连接国内外相关技术社群信息，追踪业内DNS产品动态，加强信息共享，欢迎大家关注、推荐和投稿。
+关注