商品排行榜案例 - 流计算

随着新零售的概念崛起,越来越多的电商商家对实时的数据越来越关注,而交易量和商品的排行榜这两个指标尤为重要。但是怎么在 式的数据里做商品的TOP排行呢?既需要保证数据的正确性、又要保证数据的实效性。阿里云 计算StreamSQL团队对这一难题做出了攻克,用 ...

日志服务+流计算+RDS 统计网站访问日志

众所周知,在阿里云所有的产品里,很多产品不需要写代码也能做出炫酷的demo,操作简单,容易上手。最近 计算开始公测,所谓世间万事万物,我们都要挑点来尝尝,拿它做个什么demo捏?请看本期云享团分享。本期分享专家:黄莉娟,具有多年前端开发经验,曾就职于天基 ...
来自: 开发者社区 > 博客 作者: 阿里云服务 浏览:3690 回复:1

云计算之哲学根本:静水深流,大象无形

本文讲的是云 计算之哲学根本:静水深 ,大象无形,大方无隅,大器晚成,大音希声,大象无形。老子在《道德经》中早已将这一做人的道理讲的透彻。本文讲的是云 计算之哲学根本:静水深 ,大象无形,【IT168 资讯】大方无隅,大器晚成,大音希声,大象无形。老子在 ...
来自: 开发者社区 > 博客 作者: 轩墨 浏览:62 回复:0
推荐

阿里云试用中心,为您提供0门槛上云实践机会!

0元试用32+款产品,最高免费12个月!拨打95187-1,咨询专业上云建议!
广告

开发漫谈:S4不是F4 分布式流计算应用广

与Storm等 计算框架一样,都是分布式 数据实时与持续 计算的基础。而分布式 数据实时与持续 计算除了S4之外,还需要MapReduce、Dryad等全量/增量 计算平台、CEP以及EDA模型、还有Pregel等图 计算模型。在大数据环境下,企业生产环境的 ...
来自: 开发者社区 > 博客 作者: 寒凝雪 浏览:138 回复:0

【PDF下载】大数据峰会之阿里大规模流式增量计算应用

讲师介绍 [attachment=129901] 布民 2015年加入阿里巴巴,现为阿里云高级专家、技术委员会成员,及大规模 计算与图 计算平台负责人。布民之前在微软亚洲研究院任主管研究员,主要研究兴趣为大规模分布式 计算。至今已在相关领域顶级会议(如 ...
来自: 开发者社区 > 论坛 作者: 云栖技术 浏览:847 回复:3

11月21日云栖精选夜读:如何扛住1.8亿/秒的双11数据洪峰?阿里流计算技术全揭秘

今年的双11再次刷新了记录——支付成功峰值达25.6万笔/秒、实时数据处理峰值4.72亿条/秒。 面对较去年增幅100%的数据洪峰, 计算技术可谓功不可没。今天,我们将揭开阿里 计算技术的神秘面纱。今年的双11再次刷新了记录 ...
来自: 开发者社区 > 博客 作者: yq传送门 浏览:52 回复:0

2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《数据可视化:构建实时动态运营数据分析大屏》篇

2017云栖大会·杭州峰会:《在线用户行为分析:基于 计算的数据处理及应用》之《数据可视化:构建实时动态运营数据分析大屏》篇###实验背景介绍> 了解更多2017云栖大会·杭州峰会 TechInsight ...
来自: 开发者社区 > 博客 作者: 祎休 浏览:885 回复:0

漫谈流式计算的一致性

1分钟&有状态 数据处理,典型的场景,就是windows-based的聚合或 计算,比如 计算1分钟内的计数或平均值,这样会有部分数据需要cache在内存中&这样当fail-over时,如何可以恢复cache,并保证 ...
来自: 开发者社区 > 博客 作者: 寒凝雪 浏览:346 回复:0

StreamingPro支持Flink的流式计算了

/allwefantasy/streamingpro/flink.json然后皆可以了。你也可以到localhost:8081 页面上提交你的任务。后面的话Flink目前在 计算上对SQL支持有限,暂时还不支持Join,Agg等 ...
来自: 开发者社区 > 博客 作者: 祝威廉 浏览:563 回复:0

PgSQL · 应用案例 · 流式计算与异步消息在阿里实时订单监测中的应用

。《打造云端 计算、在线业务、数据分析的业务数据闭环 - 阿里云RDS、HybridDB for PostgreSQL最佳实践》数据进入HDB PG后,通过规则SQL,从全量订单表中,挖掘异常数据(或者分析)。通过这种方案,实现了海量订单FEED数据的 ...
来自: 开发者社区 > 博客 作者: 技术小能手 浏览:78 回复:0

专访阿里云高级技术专家吴威:Kafka、Spark和Flink类支持流式计算的软件会越来越流行

大数据领域一定会朝着更加实时、更加智能、数据更加多样化的方向前进。Kafka、Spark和Flink之类的支持 计算的软件会越来越流行,同时各类机器学习平台和工具也会越来越成熟。杭州·云栖大会将于2016年10月13 ...
来自: 开发者社区 > 博客 作者: 身行 浏览:3456 回复:1

如何使用函数计算实现流式处理large文件

函数 计算实现 式处理large文件在某些场景中,用户需要对oss上的某个大文件抽取出某些信息, 本教程以oss上的一个大小为400M,内含105万条记录的csv文件为例,讲解如果利用函数 计算 式处理, 查找出包含'Lilly'的记录 ...
来自: 开发者社区 > 博客 作者: rsong 浏览:25 回复:0

【阿里云流计算】- 电商多张商品表合并案例

(type='rds');```其实大家看上面的SQL很简单的逻辑,其实声明的这三张表是一张真实的大表,它包含了三张表的所有字段主键为相同的ID(注意: 计算不支持部分主键插入,如数据库中定义为多个的联合主键),主键相同会做 ...
来自: 开发者社区 > 博客 作者: 梁程 浏览:57 回复:0

【阿里云流计算】- 电商每天成交总额案例

)这个案例,最近一段时间很多用户想获得精确到天级别的订单总数或者是成交额!其实和上面那个案例原理上是一致的,唯一不同的怎么取以天为单位的维度的数据!接下来我给大家可以写一个小案例![了解更多阿里云 计算](https://data.aliyun.com ...
来自: 开发者社区 > 博客 作者: 梁程 浏览:74 回复:0

有这样一个场景:输入数据是在MaxCompute(原ODPS)上存储的一个表,数据格式是id, kv_string(k1:v1,k2:v2,k3:v3.....),在前端触会通过点击触发发工作流

有这样一个场景:输入数据是在MaxCompute(原ODPS)上存储的一个表,数据格式是id, kv_string(k1:v1,k2:v2,k3:v3.....),在前端触会通过点击触发发工作 ,完成 计算输出结果返回,这里的第一步就是根据前端传入的key ...
来自: 开发者社区 > 问答 作者: 祁同伟 浏览:236 回复:1

定位排查工作流的计算结果数据量不符合预期的方法

本文用两个简化过的实际例子,说明如何排查数据经过同步和 计算后发现数据条数对不上的情况。近期有发现一些用户在咨询,为什么数据从数据源出来后,经过了一些 计算,结果不符合预期了。最常见的是说,为什么我的数据在Mysql里有xx条,怎么到MaxCompute里算 ...
来自: 开发者社区 > 博客 作者: 传学 浏览:7837 回复:0

JStorm-Alibaba —— Storm 的实时流式计算框架

JStorm是参考storm的实时 计算框架,在网络IO、线程模型、资源调度、可用性及稳定性上做了持续改进,已被越来越多企业使用。经过4年发展,阿里巴巴JStorm集群已经成为世界上最大的集群之一,基于JStorm的应用数量超过1000个。数据显示 ...
来自: 开发者社区 > 博客 作者: boxti 浏览:309 回复:0

图流合璧——基于Spark Streaming和GraphX的动态图计算

合璧——基于Spark Streaming和GraphX的动态图 计算.png (67.99 KB, 下载次数: 9) 下载附件  保存到相册 2015-6-18 00:35 上传 链接:http://pan.baidu.com/s/1gdtSasz 密码: 游客,如果您要查看本帖隐藏内容请回复 ...
来自: 开发者社区 > 论坛 作者: 元宝公主 浏览:245 回复:13

超越批处理的世界:流计算

今日, 式数据处理是大数据里的很重要一环。原因有不少,其中包括:商业(竞争)极度渴望更快的数据,而转换成 计算则是一个好的方法来降低延迟。海量的、无穷数据集在现在的商业环境里变的越来越常见,而用专门设计 ...
来自: 开发者社区 > 博客 作者: 小旋风柴进 浏览:355 回复:0

双11数据大屏背后的秘密:大规模流式增量计算及应用

回顾大数据技术领域大事件,最早可追溯到06年Hadoop的正式启动,而环顾四下,围绕着数据库及数据处理引擎,业内充斥着各种各样的大数据技术。在云栖社区2017在线技术峰会大数据技术峰会上,阿里云大数据 计算平台架构师钱正平做了题为《大规模 式增量 计算及应用 ...
来自: 开发者社区 > 博客 作者: 场景研读 浏览:3098 回复:0

双11数据大屏背后:大规模流式增量计算及应用(附资料)

卖家到买家的订单都会被实时地刻画出来,这在商业领域将会给大家一个非常直观的印象,也可以用于辅助商业决策。特别是在安全以及监控这些领域,数据有时候除了用于看以外还可以预先设定很多规则,基于 计算的“规则引擎”提供了传统的 ...
来自: 开发者社区 > 博客 作者: 小旋风柴进 浏览:433 回复:0

Nexmark: 如何设计一个流计算基准测试?

每一种引擎有其优势的地方,如何选择适合自己业务的 计算引擎成了一个由来已久的话题。除了比较各个引擎提供的不同的功能矩阵之外,性能是一个无法绕开的评估因素。基准测试(benchmark)就是用来评估系统性能的一个重要和常见的过程。01 背景随着数据 ...
来自: 开发者社区 > 博客 作者: 巴蜀真人 浏览:0 回复:0

《Kafka Stream》调研:一种轻量级流计算模式

计算,已经有Storm、Spark,Samza,包括最近新起的Flink,Kafka为什么再自己做一套 计算呢?Kafka Stream 与这些框架比有什么优势?Samza、Consumer Group已经包装了Kafka轻量级的消费功能,难道不够吗 ...
来自: 开发者社区 > 博客 作者: 简志 浏览:9386 回复:2

Spark入门实战系列--7.Spark Streaming(上)--实时流计算Spark Streaming原理介绍

系统,可以对多种数据源(如Kdfka、Flume、Twitter、Zero和TCP&套接字)进行类似Map、Reduce和Join等复杂操作,并将结果保存到外部文件系统、数据库或应用到实时仪表盘。l 计算流程:Spark Streaming是将 式 ...
来自: 开发者社区 > 博客 作者: 技术小甜 浏览:13 回复:0

阿里蒋晓伟谈流计算和批处理引擎Blink,以及Flink和Spark的异同与优势

阿里搜索事业部资深搜索专家蒋晓伟将在线分享《阿里 计算和批处理引擎Blink》,其基于Apache Flink项目并且在API和它上兼容,深度分享阿里为了能够满足业务需求在Flink上做的一系列改进。[首届阿里巴巴在线技术峰会](https://yq ...
来自: 开发者社区 > 博客 作者: 云栖小秘书 浏览:12980 回复:4

谈谈流计算中的『Exactly Once』特性

本文翻译自 streaml.io 网站上的一篇博文:“Exactly once is NOT exactly the same” ,分析了 计算系统中常说的『Exactly Once』特性,主要观点是:『精确一次』并不保证是完全 ...
来自: 开发者社区 > 博客 作者: apache_flink 浏览:111 回复:0

流计算StreamCompute

的庞大电商系统各个模块产生的交易日志,例如双十一当前产生的日志量达到了3.7PB,而每秒处理的峰值更是达到了近1亿事件!如此大规模、高吞吐和低延时 计算,带来一系列世界级的技术挑战,包括:1.&&&&实时编程: 式 ...
来自: 开发者社区 > 博客 作者: 隐林 浏览:5605 回复:0

以物流案例看基于表格存储实时数据流的serverless计算

许多业务有实时数据处理的需求。相较于传统的数据库+ 计算+应用服务器方案,使用基于表格存储实时数据 的Serverless 计算方案有自动弹性伸缩及开发简单、部署简单等优点。本文通过一个想象的物流案例来说明如何实施“基于表格存储实时数据 的 ...
来自: 开发者社区 > 博客 作者: 好慢 浏览:1069 回复:2

Serverless 工作流 + 函数计算批量处理海量 OSS 文件最佳实践

(如批量处理可以跳过已经处理过的前 1000 万个 key)。在这篇文章中我们将就上面提到的 3 个场景介绍一个基于 Serverless 工作 和函数 计算(FC)无服务器最佳实践解决方案。海量 OSS 文件复制 + 归档OSS 文件备份听起来是 ...
来自: 开发者社区 > 博客 作者: shuaichang 浏览:162 回复:0

使用函数工作流+函数计算轻松构建 ETL 离线数据处理系统

,函数工作 + 函数 计算的组合提供了高效的解决方案。在介绍方案细节前,先来了解下主要会使用到的两款产品:阿里云函数 计算 是阿里云基于事件驱动的全托管 计算服务,通过极强的弹性、多语言的支持、丰富的工具链帮助用户快速搭建 serverless 服务,应 ...
来自: 开发者社区 > 博客 作者: 渐意 浏览:424 回复:0

实时即未来?一个小微企业心中的流计算

本文由墨芷技术团队唐铎老师分享,主要讲述其技术团队内部引入 计算的整个过程,包括最初的决策、期间的取舍以及最终落地,一路走来他们的思考、感悟以及经验分享。 摘要:本文由墨芷技术团队唐铎老师分享,主要讲述其技术团队内部引入 计算的整个过程,包括最初的 ...
来自: 开发者社区 > 博客 作者: 巴蜀真人 浏览:46 回复:0

spark图感知及图数据挖掘:图流合壁,基于Spark Streaming和GraphX的动态图计算

“2015 Spark技术峰会”,我们请到了阿里巴巴淘宝技术部高级技术专家黄明(明风)担任演讲嘉宾, 他将带来的分享主题为《图 合壁:基于Spark Streaming和GraphX的动态图 计算》,下面是内容简介: 借助GraphX的强大 ...
来自: 开发者社区 > 论坛 作者: 李菁菁菁 浏览:239 回复:4

Spark入门实战系列--7.Spark Streaming(下)--实时流计算Spark Streaming实战

null【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取1、实例演示1.1& 数据模拟器1.1.1& 数据说明在实例演示中模拟实际情况,需要源源不断地接入 数据,为了在演示过程 ...
来自: 开发者社区 > 博客 作者: 技术小甜 浏览:14 回复:0

阿里云大数据利器之-使用sql实现流计算做实时展现业务( flume故障转移版 )

实时业务处理的需求越来越多,也有各种处理方案,比如storm,spark等都可以。那以数据 的方向可以总结成数据源-数据搜集-缓存队列-实时处理 计算-数据展现。本文就用阿里云产品简单实现了一个实时处理的方案。 实时业务处理的需求越来越多,也 ...
来自: 开发者社区 > 博客 作者: 云上单 浏览:2723 回复:1

用PostgreSQL支持含有更新,删除,插入的实时流式计算

大多数的 计算产品只支持APPEND ONLY的应用场景,也就是只有插入,没有更新和删除操作。如果要实现更新和删除的实时 计算,在PostgreSQL中可以这样来实现。在此前你可以阅读我以前写的文章来了解PG是如何处理一天一万亿的实时 计算的 ...
来自: 开发者社区 > 博客 作者: 德哥 浏览:4456 回复:0

阿里云流计算-商业化发布

null产品介绍: 阿里云 计算(Aliyun StreamCompute)是运行在阿里云平台上的 式大数据分析平台,提供了 式数据实时化分析的一站式开发&运维解决方案,用户只需具备少量的SQL知识就能灵活的解决实时 计算的复杂问题。产品功能及优势 ...
来自: 开发者社区 > 博客 作者: fukong 浏览:67 回复:0

流式计算在容错方面的考虑

问题导读: 1. 计算,在容错方面有几种方法? 2.什么是世袭? 3.为什么要状态持久化?4.xor在storm是如何应用的那? 计算,在容错方面手段有几种: 1、   数据重放(stream replay) 数据在处理过程中 ...
来自: 开发者社区 > 论坛 作者: 红溪村 浏览:258 回复:1

HTAP数据库 PostgreSQL 场景与性能测试之 32 - (OLTP) 高吞吐数据进出(堆存、行扫、无需索引) - 阅后即焚(JSON + 函数流式计算)

、分区5、金融级多副本6、json、jsonb全文检索7、还有插件化形式存在的特性,如&向量 计算、JIT、SQL图 计算、SQL 计算、分布式并行 计算、时序处理、基因测序、化学分析、图像分析&等。在各种应用场景中都可以看到 ...
来自: 开发者社区 > 博客 作者: 德哥 浏览:141 回复:0

PgSQL · 应用案例 · 流式计算与异步消息在阿里实时订单监测中的应用

OSS外部表读取(支持压缩格式,换算成裸数据的读取OSS的速度约100MB/s/数据节点),并将订单FEED数据合并到全量订单表。《打造云端 计算、在线业务、数据分析的业务数据闭环 - 阿里云RDS、HybridDB for PostgreSQL最佳 ...
来自: 开发者社区 > 博客 作者: db匠 浏览:37 回复:0

Spark Streaming 流式计算实战

Spark Streaming 计算实战这篇文章由一次平安夜的微信分享整理而来。在Stuq 做的分享,原文内容。&业务场景这次分享会比较实战些。具体业务场景描述:我们每分钟会有几百万条的日志进入系统,我们希望根据日志提取出时间以及 ...
来自: 开发者社区 > 博客 作者: 祝威廉 浏览:3399 回复:0
< 1 2 3 4 ... 1712 >
共有1712页 跳转至: GO

新品推荐

你可能感兴趣

热门推荐

阿里云企典 企典文档内容 阿里云云电脑-无影 行业资讯 云通信网络加速 云展会解决方案 智能数据助理