文章 2024-08-13 来自:开发者社区

【机器学习】FFmpeg+Whisper:二阶段法视频理解(video-to-text)大模型实战

一、引言 上一篇对Whisper原理和实战进行了讲解,第7次拿到了热榜第一。今天,我们在Whisper的基础上,引入ffmpeg工具对视频的音频进行抽取,再使用Whisper将音频转为文本,通过二阶段法实现视频内容的理解。 二、FFmpeg工具介绍 2.1 什么是FFmpeg FFmpeg是一个开源的跨平台多媒体处理工具,它可以处理音频/视频数据,包括转码、转换格...

【机器学习】FFmpeg+Whisper:二阶段法视频理解(video-to-text)大模型实战
文章 2024-08-13 来自:开发者社区

【机器学习】Whisper:开源语音转文本(speech-to-text)大模型实战

一、引言 上一篇对ChatTTS文本转语音模型原理和实战进行了讲解,第6次拿到了热榜第一。今天,分享其对称功能(语音转文本)模型:Whisper。Whisper由OpenAI研发并开源,参数量最小39M,最大1550M,支持包含中文在内的多种语言。由于其低资源成本、优质的生存效果,被广泛应用于音乐识别、私信聊天、同声传译、人机交互等各种语音转文本场景,且商业化后价格不菲。今天免费分享给大...

【机器学习】Whisper:开源语音转文本(speech-to-text)大模型实战

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

阿里云机器学习平台PAI

阿里云机器学习PAI(Platform of Artificial Intelligence)面向企业及开发者,提供轻量化、高性价比的云原生机器学习平台,涵盖PAI-iTAG智能标注平台、PAI-Designer(原Studio)可视化建模平台、PAI-DSW云原生交互式建模平台、PAI-DLC云原生AI基础平台、PAI-EAS云原生弹性推理服务平台,支持千亿特征、万亿样本规模加速训练,百余落地场景,全面提升工程效率。

+关注