分布式批处理框架在大促场景下的设计与实现
在本次双十一之前，我们上线了新版的批处理框架，完整支撑了大促的招商。通过SDK接入，可以直接在业务应用中实现任务逻辑，接入便捷；通过中心化调度与任务分发，处理过程提效明显。背景在B端系统中，批处理能力是不可或缺的，它可以帮助用户批量完成一系列动作，降低重复操作的成本。在大促招商系统中，我们也需要一套在线批处理框架，来支持商家的批量商品报名、批量主图打标、一键发布、导出已报商品等操作，让商家可以批....
基于任务调度的企业级分布式批处理方案
作者：姚辉(千习)背景先来谈下什么是分布式批处理，从字面来理解就是有大批量的业务数据需要应用程序去批量计算处理，而通过单机模式去执行会耗费很长的处理时间，也不能充分发挥业务集群中每个应用节点处理能力。通过一些常见的分布式批处理方案，可以有效地让业务集群中所有业务应用节点协同完成一个大批量数据处理的任务，从而提升整体的处理效率和处理可靠性。批处理模型在简单单机场景下可以开启多线程来同时处理一个大任....
企业级分布式批处理方案
前言先来讲解下在分布式任务调度SchedulerX中的可视化MapReduce模型是什么，从字面来理解可视化MapReduce就是一个任务切分多个子任务并行处理。在简单单机场景下就是开启多线程来同时处理一个大任务，在多个机器下可以有多台机器同时并行处理同一个任务，分布式调度的可视化MapReduce模型就是为使用者在代码开发层面屏蔽上述并行协调的逻辑，让使用者可以通过简单的业务逻辑开发完成并行任....
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
阿里云分布式应用服务
企业级分布式应用服务 EDAS（Enterprise Distributed Application Service）是应用全生命周期管理和监控的一站式PaaS平台，支持部署于 Kubernetes/ECS，无侵入支持Java/Go/Python/PHP/.NetCore 等多语言应用的发布运行和服务治理 ，Java支持Spring Cloud、Apache Dubbo近五年所有版本，多语言应用一键开启Service Mesh。
+关注