文章 2022-02-17 来自:开发者社区

基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-数据同步 Canal 篇

前言 在基于 MySQL + Tablestore 分层存储架构的大规模订单系统中,利用 CDC 技术将 MySQL 数据同步到 Tablestore 是不可缺少的一步。前文已经详细讲述了如何使用 DTS 向 Tablestore 同步数据。对于中小规模的数据库,或者个人开发者,还可以使用 Canal 从 MySQL 向 Tablestore 同步数据。Canal 部署简单,易于运维,...

基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-数据同步 Canal 篇
文章 2022-02-17 来自:开发者社区

基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-订单搜索篇

背景在大规模订单系统中,存在以下常见需求:查询某店铺过去一段时间成交额查询某品牌商品在过去一周内的成交额查询在某店铺购物的客户列表……因此,开发者对于数据库在非主键查询、多列的自由组合查询等复杂查询需求上会有比较高的要求。传统的订单系统会使用 Elasticsearch 或者 Solr 来实现这一需求,但伴随而来的是更高的系统复杂度和更加昂...

基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-订单搜索篇
文章 2022-02-17 来自:开发者社区

基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-SQL 查询和分析

前言前面我们介绍了基于 MySQL + Tablestore 分层架构的订单系统。订单数据储存进入 Tablestore 后,用户可以使用 SDK 中的 API 访问数据,也可以继续使用 SQL 访问 Tablestore 中的数据。Tablestore&nb...

基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-SQL 查询和分析
文章 2022-02-17 来自:开发者社区

基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-基于 DLA 的联邦查询

前言在订单系统中,基于订单数据对客户和商家商品进行画像分析是一种常见的需求。常见的分析需求有:基于主键、分区键数据的条件组合检索,例如获取某用户最近 30 的订单列表。根据非主键列、分区键的条件组合检索工作,例如查询过去一天异常订单列表、查询过去一天成交额最大的10 笔订单。聚合统计类需求,比如统计某店铺过去一个月各商品销售额...

基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-基于 DLA 的联邦查询
文章 2022-02-17 来自:开发者社区

基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-数据处理ETL篇

前言大数据计算服务 MaxCompute(原名 ODPS)是一种快速、完全托管的EB级数据仓库解决方案。随着数据收集手段不断丰富,行业数据大量积累,数据规模已增长到了传统软件行业无法承载的海量数据(TB、PB、EB)级别。MaxCompute 致力于批量结构化数据的存储和计算,提供海量数据仓库的解决...

基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-数据处理ETL篇
文章 2022-02-17 来自:开发者社区

基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-历史数据分析篇

前言在大规模订单系统中,离线的数据分析必不可少。工程师和运营人员使用批处理工具如 Spark 对历史数据进行计算分析,其计算结果可以用于用户画像、产品推荐等多个场景。传统的 MySQL 分库分表架构是无法应对这种需求的,一般会引入 Hive 对数据进行归档存储,然后利用 Hive 来对接 Spark ...

基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-历史数据分析篇
文章 2022-02-17 来自:开发者社区

基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-数据流计算篇

背景 在订单系统中,利用 Spark streamimg 或者 Flink 对接数据流并进行数据分析是一种常见请求。常见的场景如下: 大促开始后,实时显示当前总成交金额。 大促开始后,实时画出成交量走势图。 …… MySQL 若需要支持此类场景,需要开发应用,解析 binlog 中的数据,对接中间件,开发成本运维成本都会...

基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-数据流计算篇

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

金融级分布式架构

SOFAStack™(Scalable Open Financial Architecture Stack)是一套用于快速构建金融级分布式架构的中间件,也是在金融场景里锤炼出来的最佳实践。

+关注