构建高并发高可用电商平台架构实践

拆分和对数据库拆分。 系统资源总是有限,一段比较长业务执行如果是一竿子执行方式,在大量并发操作下,这种阻塞方式,无法有效及时释放资源给其他进程执行,这样系统吞吐量不高。 需要把业务进行逻辑分段,采用异步非阻塞方式,提高系统吞吐量 ...
来自: 云栖社区 > 论坛 作者: vanessa727 浏览:357 回复:9

利用DTS数据传输服务进行数据库迁移方法汇总

数据库所有数据,不包括结构语法定义,迁移到目标实例。如果创建迁移任务时,只选择全量数据迁移,而不选增量数据迁移,那么在迁移过程中,如果源实例有数据写入,那么对于迁移过程中源实例新增数据,不会迁移到目标实例。 增量迁移:将源实例写入增量数据同步 ...
来自: 云栖社区 > 博客 作者: 絮鞍 浏览:137 回复:0

DTCC 2019 | 云时代数据库迁移 & 容灾技术新进展与应用

服务(Data Transmission Service,简称DTS) 支持以数据库、大数据、文件为核心结构化存储产品之间数据传输,它是一种集数据迁移、数据订阅及实时同步于一体数据传输服务。DTS是支持增量数据传输,其增量方法基于日志解析实现,并且 ...
来自: 云栖社区 > 博客 作者: 七幕 浏览:102 回复:0

关于亿级账户数据迁移,你应该试试这种方法...

,系统首先计算出需要迁移用户列表,同时利用分布式任务系统把需要迁移用户分发到各个机器上,后续迁移流程与用户主动迁移一样,读取迁移标识、获取全局锁、读旧写新、写入迁移标识、释放锁,完成整个迁移过程。主动迁移和被动迁移最终目的都是把用户数据从老积分账户数据迁移 ...
来自: 云栖社区 > 博客 作者: 闲鱼技术 浏览:39 回复:0

平滑快速又安全!这才是数据库上云Cool姿势

数据库更平滑、安全、快速地搬迁上云。部分场景下,迁移性能可达100Mb/S: 1、平滑迁移 非侵入式数据实时采集:基于数据库日志监听解析技术,DTS实现非侵入式增量数据实时采集,实现数据库零停机上云迁移。 断点续传:当数据源、网络或者DTS节点发生异常 ...
来自: 云栖社区 > 博客 作者: 1760861456352085 浏览:118 回复:0

Apache Flink 迁移之路,2 年处理效果提升 5 倍

JSON SDK 任务迁移。当前 Flink on yarn 集群峰值处理消息量达到 30 W/s,日均日志吞吐量达约到 50 亿条,约 60 TB。在 Flink 迁移到 on yarn 之后,因为版本升级性能有所提升,且 job 之间 ...
来自: 云栖社区 > 博客 作者: 巴蜀真人 浏览:129 回复:0

数据上云,应该选择全量抽取还是增量抽取?

浏览日期、APP浏览日志、IoT设备日志从技术实现方式来讲,从关系型数据库获取数据,可以细分为全量抽取、增量抽取2种方式,两种方法分别适用于不用业务场景 增量抽取 时间戳方式用时间戳方式抽取增量数据很常见,业务系统在源表上新增一个时间戳字段,创建、修改 ...
来自: 云栖社区 > 博客 作者: supwdl 浏览:166 回复:0

终极武器-阿里云VMware无代理迁移发布增量迁移功能

迁移任务。 需要注意是,如果要启动增量同步功能,必须在vCenter里对每台虚拟机单独启用cbt功能,可参考:https://kb.vmware.com/s/article/1031873。否则每次会转为一次全量同步。 任务启动后,在迁移状态中可以看到 ...
来自: 云栖社区 > 博客 作者: kobe81 浏览:45 回复:0

Dataworks在配置MySql整库增量迁移时,怎么根据gmt_modified进行增量控制?

请问gmt_modified存在哪里?源表中or目标表中? 源文档: 在迁移模式、并发控制区中,选择同步方式为每日增量,并配置增量字段为gmt_modified,数据集成默认会根据您选择增量字段生成具体每个任务增量抽取where条件,并配合DataWorks调度参数比如${bdp.system.bizdate}形成针对每天数据抽取条件。 ...
来自: 云栖社区 > 问答 作者: 老狮子 浏览:10 回复:0

抢占式实例在小博无线应用

实例上。 迁移释放实例上服务我们使用mesos+marathon运行服务,如果一个容器退出,marathon会新启动一个容器保证服务节点数量不变。即使不做额外操作这个模型也可以保证服务最终恢复到正常状态,但这样波动对服务质量还是很有影响。比如某个 ...
来自: 云栖社区 > 博客 作者: rippletek 浏览:1444 回复:1

Apache Flink 迁移之路,2 年处理效果提升 5 倍

JSON SDK 任务迁移。当前 Flink on yarn 集群峰值处理消息量达到 30 W/s,日均日志吞吐量达约到 50 亿条,约 60 TB。在 Flink 迁移到 on yarn 之后,因为版本升级性能有所提升,且 job 之间 ...
来自: 云栖社区 > 博客 作者: 巴蜀真人 浏览:190 回复:0

数据库产品事业部月刊(2019年4月)

完成AWS及腾讯云数据库到阿里云数据库数据迁移。2) 支持数据迁移监控报警功能,包括迁移状态及延迟报警监控,帮助企业用户轻松管理迁移任务。3) 数据传输DTS数据迁移支持Redis4.0及Redis Cluster上云迁移,包括全量数据 ...
来自: 云栖社区 > 博客 作者: 桐碧2018 浏览:153 回复:0

数据不停机迁移,真可以!更有机会免单体验,赢取代金券

;               [hr] DTS是如何做到不停机迁移? DTS提供了增量迁移功能,用户可以创建DTS任务 ...
来自: 云栖社区 > 论坛 作者: belle.zhoux 浏览:96595 回复:72

阿里云智能基础产品技术月刊2019年7月——永不停机计算服务

资源争抢,同时大大降低了虚拟化性能开销,让用户几乎可以获得所有宿主机CPU和内存资源,提高整机和大规格实例各项能力。 TOP3 云原生迁云方案发布,将自建 Kubernetes 集群搬迁到 ACK 上全栈迁云架构思路分两种,一种是整体迁移,一种是平滑 ...
来自: 云栖社区 > 博客 作者: 宝惜 浏览:200 回复:0

RDS for SQL Serve使用OSS备份文件增量上云过程

导致索引碎片率和统计信息等和用户线下数据库不同,这样一来上云以后应用可能会有一些性能问题。 三、业务对停机时间非常敏感,迁移到RDS SQL Server过程,需要控制在分钟级别。 以上就是三个比较典型使用增量上云场景。 下面看一下增量上云具体 ...
来自: 云栖社区 > 博客 作者: taller1980 浏览:38 回复:0

Oracle数据库逻辑增量备份恢复之exp/imp参数inctype

import来实施, export是把数据库数据导出,import是把export卸出数据导入数据库中。通过此工具可以衍生出多种功能, 比如整个数据库备份、表结构重建、数据传输、用户改变等等。重新温习下exp/imp语法和参数,着重看看增量 ...
来自: 云栖社区 > 论坛 作者: 导演紫萨安 浏览:706 回复:9

MPS释放时,离散任务默认任务分类怎么设置啊?

如果不同物料想设置为不同任务分类,如 制造件、外协件、总装件等,谁帮忙告诉我下呢 任务, 默认 ...
来自: 云栖社区 > 论坛 作者: maomaocy0117 浏览:240 回复:4

手工 XTTS CPT 迁移-跨平台迁移数据库

-- xtts 跨平台迁移数据库 -- 步骤: 1、初始化参数设置; 2、将源端数据文件传输到目标系统; 3、转换数据文件为目标系统字节序; 4、在源端创建增量备份,并传输到目标端; 5、在目标端恢复增量备份; 6、重复多次操作4和5步骤; 7、将 ...
来自: 云栖社区 > 博客 作者: ziheng 浏览:1148 回复:0

深度 | 带领国产数据库走向世界,POLARDB底层逻辑是什么?

需要修改应用代码,可以一键迁移到POLARDB,体验更大容量,更高性能,更低成本,和更灵活弹性。目前POLARDB是阿里云增速最快数据库产品,广泛应用于互联网金融、政府便民工程、新零售、教育、游戏、社交直播等行业。 作为基于计算与存储分离架构新 ...
来自: 云栖社区 > 博客 作者: 技术小能手 浏览:1868 回复:0

数据仓库之路!

DTS作了一层包装,然后调用了SQLServer2000写一堆存储过程,还有公司内部开发一个数据迁移和处理二进制话单工具,配置起来颇有些麻烦(开发者颇有些功底,但以后也不会再使用了);业务数据库只有 Oracle,还有些二进制文件;报表工具是国内一家 ...
来自: 云栖社区 > 论坛 作者: 上官云燕 浏览:131 回复:9
< 1 2 3 4 5 7 >
共有11108页 跳转至:GO
对搜索结果不满意?试试论坛 高级搜索>