蚂蚁 Flink 实时计算编译任务 Koupleless 架构改造
蚂蚁 Flink 实时计算编译任务 Koupleless 架构改造 张冯君(远远) Koupleless PMC 蚂蚁集团技术工程师 就职于蚂蚁集团中间件团队,参与维护与建设蚂蚁 SOFAArk 和 Koupleless 开源项目、内部 SOFAServerless 产品的研发和实践。 本文 3488 字,预计阅读 11 分钟 业务背景 基于开源 Apache Flink 打造的蚂蚁流式.....
京东实时计算架构演进之路
一、背景:从2004年开始,京东进军互联网线上化开始到至今,随着京东的高速发展,京东商城的订单量从万级到百万级、最终到达亿级。而对于实时的数据需求也是层出不穷,实时计算架构随着数据量的增长,不断进行革新。二、京东实时计算架构演进之路(1)订单量万级、百万级(以京东海外站为例)在订单量万级、百万级别的时候,也存在不少实时的数据需求,比如:商家需要看看自己每天的成交量、老板需要看看整体的成交金额,以....
线上产品实时计算架构设计
一、背景:在用户打开电商购物等app时,经常会需要给用户推荐匹配的商品。那这样一个流程是如何完成的呢?1.离线推荐基于hive离线表的数据,提前计算好用户的偏好信息,整理逻辑相对简单,但是推送的商品转换率会相对较差2.实时推荐接入用户实时点击、浏览日志信息写入到kafka,flink 接入kafka 消息数据,做一些特征的加工,结合算法模型做一个偏好识别,实时进行推荐商品显然第二种方案:实时推荐....
bilibili 实时计算平台架构与实践
摘要:本文由 bilibili 大数据实时平台负责人郑志升分享,基于对 bilibili 实时计算的痛点分析,详细介绍了 bilibili Saber 实时计算平台架构与实践。本次分享主要围绕以下四个方面:实时计算的痛点、Saber 的平台演进、结合 AI 的案例实践、未来的发展与思考。 一、实时计算的痛点 1.痛点 各个业务部门进行业务研发时都有实时计算的需求。早期,在没有平台体系做支撑时开发....
阿里实时计算平台运维架构演进
引言 大家知道最近两年随着AlphaGo的兴起,人工智能和机器学习成为各个互联网公司,如阿里巴巴、腾讯等重金投入的场景。实时计算作为机器学习的重要基础设施,开始大规模应用起来,它在搜索、推荐、广告、监控等场景下,对数据、模型等产生实时的反馈,对算法效果的提升有非常大的帮助。 在去年双十一时,阿里的实时计算平台服务了20多个BU、有1K多的 Job、近万台机器,其计算峰值达到了4.72亿QPS,大....
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
金融级分布式架构
SOFAStack™(Scalable Open Financial Architecture Stack)是一套用于快速构建金融级分布式架构的中间件,也是在金融场景里锤炼出来的最佳实践。
+关注