文章 2025-10-03 来自:开发者社区

134_边缘推理:TensorFlow Lite - 优化移动端LLM部署技术详解与实战指南

引言 在人工智能与移动计算深度融合的今天,将大语言模型(LLM)部署到移动端和边缘设备已成为行业发展的重要趋势。TensorFlow Lite作为专为移动和嵌入式设备优化的轻量级推理框架,为开发者提供了将复杂AI模型转换为高效、低功耗边缘计算解决方案的强大工具。随着移动设备硬件性能的不断提升和模型压缩技术的快速发展,2025年的移动端LLM部署已不再是遥...

134_边缘推理:TensorFlow Lite - 优化移动端LLM部署技术详解与实战指南
文章 2018-10-31 来自:开发者社区

Facebook开源移动端深度学习加速框架,比TensorFlow Lite快一倍

Facebook发布了一个开源框架,叫QNNPACK,是手机端神经网络计算的加速包。 官方表示,它可以成倍提升神经网络的推理效率,几乎比TensorFlow Lite快一倍。 这个框架,能够为很多运算加速,比如DW卷积 (Depthwise Convolution) ,许多先进的架构里面都用得到。 目前,QNNPACK已经是PyTorch 1.0的一部分,在Caffe2里就能直接使用。 ...

文章 2018-07-06 来自:开发者社区

TensorFlow Lite+OpenCV实现移动端水印的检测与去除

TensorFlow Lite+OpenCV实现移动端水印的检测与去除 闲鱼技术:镇雷 概要: 本篇文章介绍了TensorFlow Lite与OpenCV配合使用的一个应用场景,并详细介绍了其中用到的SSD模型从训练到端上使用的整个链路流程。在APP中的使用场景为,用户在发布图片时,在端上实现水印的检测和定位,并提供去水印的功能。 具体步骤有: 1,使用TensorFlow Object De.....

TensorFlow Lite+OpenCV实现移动端水印的检测与去除
文章 2018-03-25 来自:开发者社区

Tensorflow MobileNet移动端迁移学习指南2

Tensorflow MobileNet移动端迁移学习指南2 1。介绍 TensorFlow是一个多用途的机器学习框架。TensorFlow可用于在云中跨群集培训庞大模型的任何地方,以及在您的手机等嵌入式系统上本地运行模型。笔者: csdn -固本培元  交流邮箱: leo_luopy@139.com  微信:leoluopy 。 本文机器翻译加人工矫正,可能有翻译不当之处,欢...

Tensorflow MobileNet移动端迁移学习指南2
文章 2018-03-25 来自:开发者社区

Tensorflow MobileNet移动端迁移学习指南

Tensorflow MobileNet移动端迁移学习指南 1。介绍 TensorFlow是用于数值计算的开源库,专门用于机器学习应用程序。笔者: csdn -固本培元  交流邮箱: leo_luopy@139.com  微信:leoluopy 。  本文机器翻译加人工矫正,可能有翻译不当之处,欢迎讨论,相互学习。 外文原文:https://codelabs.deve...

Tensorflow MobileNet移动端迁移学习指南
文章 2017-11-14 来自:开发者社区

学习笔记TF066:TensorFlow移动端应用,iOS、Android系统实践

TensorFlow对Android、iOS、树莓派都提供移动端支持。 移动端应用原理。移动端、嵌入式设备应用深度学习方式,一模型运行在云端服务器,向服务器发送请求,接收服务器响应;二在本地运行模型,PC训练模型,放到移动端预测。向服务端请求数据可行性差,移动端资源稀缺。本地运行实时性更好。加速计算,内存空间和速度优化。精简模型,节省内存空间,加快计算速度。加快框架执行速度,优化模型复杂度和每步....

文章 2017-11-08 来自:开发者社区

深度学习利器:TensorFlow在智能终端中的应用——智能边缘计算,云端生成模型给移动端下载,然后用该模型进行预测

前言 深度学习在图像处理、语音识别、自然语言处理领域的应用取得了巨大成功,但是它通常在功能强大的服务器端进行运算。如果智能手机通过网络远程连接服务器,也可以利用深度学习技术,但这样可能会很慢,而且只有在设备处于良好的网络连接环境下才行,这就需要把深度学习模型迁移到智能终端。 由于智能终端CPU和内存资源有限,为了提高运算性能和内存利用率,需要对服务器端的模型进行量化处理并支持低精度算法。Tens....

文章 2017-05-31 来自:开发者社区

在安卓上运行TensorFlow:让深度学习进入移动端

如果你关注我的前一篇帖子,并按照其中的内容实践,你可能已经学会了如何在Linux上安装一个GPU加速的TensorFlow,并构建了你自己的图像分类器。老实讲,在笔记本上对图片进行分类是很花时间的:需要下载分类用的图片,并在终端里输入很多行命令来运行分类。 不过,尽管没有很多的公开资料,好消息是你也可以在有摄像头的手机上运行TensofrFlow的Inception分类器,甚至是你自定义的分类.....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

人工智能

了解行业+人工智能最先进的技术和实践,参与行业+人工智能实践项目

+关注