vLLM 性能优化实战：批处理、量化与缓存配置方案
很多团队把它vLLM 当 demo 跑，但是其实这没把它系统能力发挥出来。这篇文章将介绍怎么让 vLLM 真正干活——持续输出高令牌/秒，哪些参数真正有用，以及怎么在延迟和成本之间做取舍。 先说 vLLM 到底好在哪 vLLM 提供 OpenAI 兼容的 API，核心是 continuous batching 加上 PagedAttention。PagedAttention 用分页管理 KV 缓....
Redis专题-实战篇二-商户查询缓存
一、什么是缓存 缓存：是数据存的缓冲区，是存储数据的地方，一般读写性能较好。 以WEB访问，缓存存在的各个地方 浏览器缓存：静态的CSS、JS脚本或图片 Tomcat缓存：使用Redis对于 缓存的优缺...
Go语言实战案例-LRU缓存机制模拟
在高性能服务开发中，缓存是提升访问速度和减少后端负载的重要手段。常见的缓存淘汰策略中，**LRU（Least Recently Used，最近最少使用）**是应用最广的一种。本篇我们用Go语言手写一个LRU缓存机制的模拟实现。 一、LRU缓存机制简介 ...
go-zero微服务实战系列（六、缓存一致性保证）
只要我们使用缓存，就必然会面对缓存和数据库间的一致性问题。如果缓存中的数据和数据库的数据不一致，那么业务应用从缓存中读取的数据就不是最新的数据，对业务的影响可想而知。比如我们把商品的库存数据存在缓存中，如果缓存中库存数据不对，那么可能就会影响下单操作，这是业务上很难接受的。本篇文章我们来一起聊一聊缓存的一致性问题。 如何解决缓存不一致 先删缓存再更新数据库 假设线程A删除...
go-zero微服务实战系列（五、缓存代码怎么写）
缓存是高并发服务的基础，毫不夸张的说没有缓存高并发服务就无从谈起。本项目缓存使用Redis，Redis是目前主流的缓存数据库，支持丰富的数据类型，其中集合类型的底层主要依赖：整数数组、双向链表、哈希表、压缩列表和跳表五种数据结构。由于底层依赖的数据结构的高效性以及基于多路复用的高性能I/O模型，所以Redis也提供了非常强悍的性能。下图展示了Redis数据类型对应的底层数据结构。 ...
Android经典实战之用Kotlin泛型实现键值对缓存
本文首发于公众号“AntDream”，欢迎微信搜索“AntDream”或扫描文章底部二维码关注，和我一起每天进步一点点 Kotlin 中的泛型是一种允许类型参数化的特性。它可以增强代码的重用性、类型安全性和可读性。在实际编写代码时，通过泛型，你可以编写更为通用的类和方法，而不必具体针对某种特定类型。 基本语法 在 Kotli...
node实战——koa给邮件发送验证码并缓存到redis服务（node后端储备知识）
⭐前言 大家好，我是yma16，本文分享关于node实战——koa给邮件发送验证码缓存到redis。 本文适用对象：前端初学者转node方向，在线大学生，应届毕业生，计算机爱好者。 node系列往期文章 node_windows环境变量配置 node_npm发布包 linux_配置node node_nvm安装配置 node笔记_h...
MyBatis三级缓存实战：高级缓存策略的实现与应用
基于前面的内容，我们已经非常熟悉了 MyBatis 的一级缓存和二级缓存的设计，一级缓存是将数据存储在了 SqlSession 的 BaseExecutor 中，仅对同一个 SqlSession 有效，二级缓存是基于一级缓存的基础之上，使用 CachingExecutor 来装饰一级缓存，而 CachingExecutor 是在 MyBatis 初始化阶段就完成了创建，全局有效。 不过我...
【深入浅出Spring原理及实战】「缓存Cache开发系列」带你深入分析Spring所提供的缓存Cache管理器的实战开发指南（修正篇）
前提介绍 Spring Cache是基于方法级别的，其核心思想是将调用带有缓存的方法时的参数和返回结果作为键值对存储在缓存中。当下次调用相同参数的方法时，直接从缓存中获取结果，而不再执行该方法。因此，在使用Spring Cache时，需要确保被缓存的方法对于相同的参数具有相同的返回结果。 使用Spring Cache需要进行两个步骤： 声明需要使用缓存的方法。...
【深入浅出Spring原理及实战】「缓存Cache开发系列」带你深入分析Spring所提供的缓存Cache功能的开发实战指南（二）
【深入浅出Spring原理及实战】「缓存Cache开发系列」带你深入分析Spring所提供的缓存Cache功能的开发实战指南（一）https://developer.aliyun.com/article/1471011 配置文件结合Bean装配 @Value...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
阿里云存储服务
阿里云存储基于飞天盘古2.0分布式存储系统，产品多种多样，充分满足用户数据存储和迁移上云需求。
+关注