分库技术演进&最佳实践

,我们也不可能为了这些请求量并不高的查询,无限制的冗余分库。那么这些条件中没有sharding column的SQL怎么处理?以sharding-jdbc为例,有多少个分库,就要并发路由到多少个分库中执行,然后对结果进行合并。具体如何合并,可以看 ...
来自: 云栖社区 > 博客 作者: 技术小能手 浏览:123 回复:0

分库技术演进&最佳实践

,然后对结果进行合并。具体如何合并,可以看笔者sharding-jdbc系列文章,有分析源码讲解合并原理。 这种条件查询相对于有sharding column的条件查询性能很明显会下降很多。如果有几十个,甚至上百个分库,只要某个的执行由于某些 ...
来自: 云栖社区 > 博客 作者: 技术小能手 浏览:92 回复:0

突破Java面试(46)-分库

为什么要分库(设计高并发系统的时候,数据库层面该如何设计)?用过哪些分库中间件?不同的分库中间件都有什么优点和缺点?你们具体是如何对数据库如何进行垂直拆或水平拆的? 0 Github 1 面试题 为什么要分库(设计高并发系统的时候 ...
来自: 云栖社区 > 博客 作者: javaedge 浏览:70 回复:0

分布式数据库选型——数据水平拆方案

。 概述 水平拆的概念随着分布式数据库的推广已为大部分人熟知。分库、异构索引、小广播、这些功能几乎是产品功能需求标配。然而有些客户使用分布式数据库的体验不尽如意。本文尝试从数据的角度总结分布式数据的复制(replication)和区 ...
来自: 云栖社区 > 博客 作者: mq4096 浏览:83 回复:0

突破Java面试(49)-分库之后全局id的生成

0 Github 1 面试题 分库之后,id主键如何处理? 2 考点分析 其实这是分库之后你必然要面对的一个问题,就是id咋生成? 要是分成多个之后,每个都是从1开始累加,那肯定不对啊,需要一个全局唯一的id来支持! 下面来看看有哪些可行 ...
来自: 云栖社区 > 博客 作者: javaedge 浏览:188 回复:0

分库中间件的高可用实践

何时不会再有新的流量,这个判定标准即是Server1没有任何一个client端的连接。这也是上面我们在执行完sql销毁连接从而可以让连接数变为0的原因,如下图所示:当连接数为0,我们就可以重新发布Server1(分库中间件)了。对于这一点,我们写了个 ...
来自: 云栖社区 > 博客 作者: 无毁的湖光 浏览:53 回复:0

突破Java面试(48)-设计可动态扩容缩的分库

设计可动态扩容的分库 0 Github 1 面试题 设计可动态扩容的分库 2 考点分析 选一个数据库中间件,然后深入之 设计分库的方案,要分成多少个库,每个库分成多少个 基于已选的数据库中间件,以及在测试环境建立好的分库,能否正常 ...
来自: 云栖社区 > 博客 作者: javaedge 浏览:81 回复:0

如何一步步构建大型网站架构

以及维护上需要做的更好,因此对这些方面的技术还是提出了很高的要求的。     架构演变第七步:、DAL和分布式缓存   随着系统的不断运行,数据量开始大幅度增长,这个时候发现分库查询仍然会有些慢,于是按照分库的思想开始 做的工作。当然 ...
来自: 云栖社区 > 论坛 作者: tata米 浏览:227 回复:0

分库,做到永不迁移数据和避免热点的方法

,end_id 分库就会带来各种join组合条件的查询问题,怎样解决查询问题,很有挑战性。 ...
来自: 云栖社区 > 博客 作者: 程序狗狐狸 浏览:64 回复:1

在.net core中完美解决多租户分库的问题

在.net core中完美解决多租户分库的问题 前几天有人想做一个多租户的平台,每个租户一个库,可以进行水平扩展,应用端根据登录信息,切换到不同的租户库 计划用ef core实现,他们说做不出来,需要动态创建dbContext,不好实现 然而这个 ...
来自: 云栖社区 > 博客 作者: 优惠券活动 浏览:8 回复:0

MySQL单数据不要超过500万行:是经验数值,还是黄金铁律?

继续优化的情况下,再考虑分库提高系统的性能。对此,阿里巴巴《Java 开发手册》补充到:如果预计三年的数据量根本达不到这个级别,请不要在创建时就分库。那么,回到一开始的问题,你觉得这个数值多少才合适呢?我的建议是,根据自身的机器的情况综合评估 ...
来自: 云栖社区 > 博客 作者: 白岳 浏览:883 回复:0

分库好还是分区好?

水平拆通常有两种方式。一是通过中间件做分库,二是通过分区区。两个方案各有优劣,也有一些共同的特点和问题。应用在使用的时候要尽可能的扬长避短。详情参见《分布式数据库的拆设计实践》。 针对分库的方案,最佳实践有两个建议。一个是在数据库实例 ...
来自: 云栖社区 > 论坛 作者: mq4096 浏览:65 回复:0

分库分库ID为何要先hash再取模?不能直接取模吗?

看到一篇文章,分库按用户ID库,方法是将计算用户ID的hash值,将与分库数量(如10个)取模。 我的问题是,为何要先计算hash值?   是因为用户ID不一定是数值型? hash值为数值才能取模运算? ...
来自: 云栖社区 > 论坛 作者: 魏璐花 浏览:894 回复:2

MySQL性能优化教程

业务逻辑拆,可保留部分数据关联,前端web工程师可在限度范围内执行关联查询。 基于负载压力拆 基于负载压力对数据结构拆,便于直接将负载分担给不同的服务器。 基于负载压力拆,可能拆的数据库包含不同业务类型的数据,日常维护会有一定的烦恼。 混合拆 ...
来自: 云栖社区 > 论坛 作者: liyixiulan 浏览:318 回复:0

OceanBase分区有什么不同?

,业务需要指定拆策略和分片数,使用上基本上跟单一样。三是以DRDS、TDSQL等为代表的分布式数据库中间件的分库,业务使用的是一个逻辑,实际数据存放在多个结构相同命名或位置不同的物理上。 OceanBase里一个非分区只有一个区,一个分区 ...
来自: 云栖社区 > 博客 作者: mq4096 浏览:84 回复:0

想要接入RDS数据源的同学有分库吗?

    Hi 亲们,大家期盼的RDS数据源接入正在开发中,在这里收集一下大家的需求。RDS目前对分库还没有很好地支持起来,大家目前是否有自己来做分库呢?如果在用的话,是如何做的呢?      ...
来自: 云栖社区 > 论坛 作者: opensearch 浏览:4159 回复:9

Sharding-Jdbc分库的导读

前言    Sharding-JDBC是一个开源的分布式数据库中间件,它无需额外部署和依赖,完全兼容JDBC和各种ORM框架。Sharding-JDBC作为面向开发的微服务云原生基础类库,完整的实现了分库、读写分离和 ...
来自: 云栖社区 > 博客 作者: 1549690872551857 浏览:57 回复:0

亿级规模的 Feed 流系统,如何轻松设计?

一台机器上的数据量增大,可以通过自动分裂两部分,然后将其中一半的数据迁移到另一台机器上去,这样就做到了线性扩展。而关系型数据库需要在扩容时再次分库。所以,结论是: 如果是自建系统,且不具备分布式NoSQL数据库运维能力,且数据规模不大,那么可以使用 ...
来自: 云栖社区 > 博客 作者: 技术小能手 浏览:630 回复:0

有个问题请教一下。sqlserver,oracle这些数据库都支持单文件组,阿里不是改了一个mysql的版本么,为什么不在mysql里面实现文件分组呀。我看阿里手册说的现在还是手工分库

有个问题请教一下。sqlserver,oracle这些数据库都支持单文件组,阿里不是改了一个mysql的版本么,为什么不在mysql里面实现文件分组呀。我看阿里手册说的现在还是手工分库。 ...
来自: 云栖社区 > 问答 作者: 李博bluemind 浏览:12 回复:1

DBS,如果有涉及分库的,恢复回来的是DRDS看的维度还是RDS底层的维度的名?

DBS,如果有涉及分库的,恢复回来的是DRDS看的维度还是RDS底层的维度的名? ...
来自: 云栖社区 > 问答 作者: 赖冬林 浏览:7 回复:2
< 1 2 3 4 5 7 >
共有4625页 跳转至:GO
对搜索结果不满意?试试论坛 高级搜索>