基于Tablestore 实现大规模订单系统海量订单/日志数据分类存储的实践
一、背景1、场景A公司主营业务为跨境电商出口和跨境仓储物流，其基本桥接了全部的海外第三方电商购物平台，包括亚马逊、eBay、速卖通等；在业务运营过程中，A公司定期投放广告listing至各大购物平台，以更新产品的价格、物流费用、标题、评价、介绍，QA问答等等。每次更新均会生产日志记录相关变化，该数据需要长期保存并在后续进入DLA做运营分析；因此在目前A公司订单管理系统中，需要长期存储大量订单数据....
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-架构篇
作者 | 弘楠来源 | 阿里技术公众号一 背景订单系统存在于各行各业，如电商订单、银行流水、运营商话费账单等，是一个非常广泛、通用的系统。对于这类系统，在过去十几年发展中已经形成了经典的做法。但是随着互联网的发展，以及各企业对数据的重视，需要存储和持久化的订单量越来越大，数据的重视程度与数据规模的膨胀带来了新的挑战。首先，订单量对于数据的存储、持久化、访问带来了挑战，这不仅增加了开发面对的困难.....
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-架构篇
背景订单系统存在于各行各业，如电商订单、银行流水、运营商话费账单等，是一个非常广泛、通用的系统。对于这类系统，在过去十几年发展中已经形成了经典的做法。但是随着互联网的发展，以及各企业对数据的重视，需要存储和持久化的订单量越来越大，数据的重视程度与数据规模的膨胀带来了新的挑战。首先，订单量对于数据的存...
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-数据同步 DTS 篇
前言 前文架构篇，可以看到 MySQL + Tablestore 非常适合大规模订单系统这一类需求场景。那么，我们首先要做的是，利用 CDC(Change Data Capture) 技术将订单数据实时从 MySQL 同步到 Tablestore 中。对于订单系统的数据...
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-数据同步 Canal 篇
前言 在基于 MySQL + Tablestore 分层存储架构的大规模订单系统中，利用 CDC 技术将 MySQL 数据同步到 Tablestore 是不可缺少的一步。前文已经详细讲述了如何使用 DTS 向 Tablestore 同步数据。对于中小规模的数据库，或者个人开发者，还可以使用 Canal 从 MySQL 向 Tablestore 同步数据。Canal 部署简单，易于运维，...
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-订单搜索篇
背景在大规模订单系统中，存在以下常见需求：查询某店铺过去一段时间成交额查询某品牌商品在过去一周内的成交额查询在某店铺购物的客户列表……因此，开发者对于数据库在非主键查询、多列的自由组合查询等复杂查询需求上会有比较高的要求。传统的订单系统会使用 Elasticsearch 或者 Solr 来实现这一需求，但伴随而来的是更高的系统复杂度和更加昂...
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-SQL 查询和分析
前言前面我们介绍了基于 MySQL + Tablestore 分层架构的订单系统。订单数据储存进入 Tablestore 后，用户可以使用 SDK 中的 API 访问数据，也可以继续使用 SQL 访问 Tablestore 中的数据。Tablestore&nb...
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-基于 DLA 的联邦查询
前言在订单系统中，基于订单数据对客户和商家商品进行画像分析是一种常见的需求。常见的分析需求有：基于主键、分区键数据的条件组合检索，例如获取某用户最近 30 的订单列表。根据非主键列、分区键的条件组合检索工作，例如查询过去一天异常订单列表、查询过去一天成交额最大的10 笔订单。聚合统计类需求，比如统计某店铺过去一个月各商品销售额...
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-数据处理ETL篇
前言大数据计算服务 MaxCompute（原名 ODPS）是一种快速、完全托管的EB级数据仓库解决方案。随着数据收集手段不断丰富，行业数据大量积累，数据规模已增长到了传统软件行业无法承载的海量数据（TB、PB、EB）级别。MaxCompute 致力于批量结构化数据的存储和计算，提供海量数据仓库的解决...
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-历史数据分析篇
前言在大规模订单系统中，离线的数据分析必不可少。工程师和运营人员使用批处理工具如 Spark 对历史数据进行计算分析，其计算结果可以用于用户画像、产品推荐等多个场景。传统的 MySQL 分库分表架构是无法应对这种需求的，一般会引入 Hive 对数据进行归档存储，然后利用 Hive 来对接 Spark ...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
