小米流式平台架构演进与实践

作业超过 800 个,Flink 作业超过 200 个,Flink 每天处理的消息量可以达到 7000 亿条,数据量在 1 PB 以上。小米流式平台发展历史小米流式平台发展历史分为如下三个阶段: Streaming Platform 1.0:小米流 ...
来自: 开发者社区 > 博客 作者: 巴蜀真人 浏览:130 回复:0

《kafka中文手册》-快速开始(一

1.1 IntroductionKafka™ is&a distributed streaming platform. What exactly does that mean?&Kafka是一个分布式数据流处理系统 ...
来自: 开发者社区 > 博客 作者: 青衫无名 浏览:646 回复:0

Kafka实战(三) -Kafka的自我修养

Apache Kafka是消息引擎系统,也是一个分布式流处理平台(Distributed Streaming Platform)Kafka是LinkedIn公司内部孵化的项目。LinkedIn最开始有强烈的数据强实时处理方面的需求,其内部的诸多子系统 ...
来自: 开发者社区 > 博客 作者: javaedge 浏览:48 回复:0
推荐

阿里云高校特惠,助力学生创业梦!0元体验,快速入门云计算!

建个炫酷的简历网页,制作一个浪漫的表白网页,打造个人专属网盘,多种动手场景应用免费学!!!
广告

38款 流媒体服务器开源软件

媒体服务器 Open Streaming ServerOpen Streaming Server (Catra Streaming Platform) 是一个数字媒体传送器,主要功能包括支持 mp4、3gp、WMF和qt文件格式;动态 ...
来自: 开发者社区 > 博客 作者: double2li 浏览:29 回复:0

Homer Conferencing

software is available for Windows, Linux and OS X. Homer was developed as tool for video conferences and as streaming platform. The ...
来自: 开发者社区 > 博客 作者: double2li 浏览:18 回复:0

《kafka中文手册》-快速开始(二

is essential to Kafka’s role as a streaming platform.组合消息, 存储, 流处理这些看起来不太平常, 但是这些仍然是kafka的作流处理平台的主要功能A distributed file ...
来自: 开发者社区 > 博客 作者: 青衫无名 浏览:803 回复:0

《KAFKA官方文档》入门指南(一

1.入门指南1.1简介Apache的Kafka™是一个分布式流平台(a distributed streaming platform)。这到底意味着什么?我们认为,一个流处理平台应该具有三个关键能力:它可以让你发布和订阅 ...
来自: 开发者社区 > 博客 作者: 青衫无名 浏览:549 回复:0

使用STREAM软件测试E-HPC内存带宽性能 - 弹性高性能计算E-HPC

本文以 STREAM软件为例介绍如何测试E-HPC集群内存和带宽的性能。背景信息 STREAM软件是内存带宽性能测试的基准工具,也是衡量服务器内存性能指标的通用工具。 STREAM软件具有良好的 ...

Hadoop Streaming - E-MapReduce

Streaming作业。 Python写Hadoop Streaming ...

Stream Writer - DataWorks

Stream Writer支持的数据类型、写入方式、字段映射和数据源等参数及配置示例。 Stream Writer插件实现了从Reader端读取数据,并向屏幕上打印数据或直接丢弃数据的功能。该插件主要 ...

Spark Streaming消费 - 日志服务

日志服务采集到日志数据后,可以通过运行Spark Streaming任务消费日志数据。 日志服务提供的 ...

Streaming SQL作业配置 - E-MapReduce

本文介绍 Streaming SQL作业配置的操作步骤 ...

通过Spark Streaming作业处理Kafka数据 - E-MapReduce

本文介绍如何使用阿里云E-MapReduce创建的Hadoop和Kafka集群,运行Spark Streaming作业以消费Kafka ...

Spark Streaming作业配置 - E-MapReduce

本文介绍如何配置Spark Streaming类型的作业 ...

Stream API - CDN

本文为您介绍 Stream API的定义和未能实现的方法 ...

自定义Stream宏节点大小 - 云数据库 Redis

您可以通过 stream-node-max-bytes参数修改 Stream中每个宏节点(Macro Node)能够占用的最大内存,或者 ...

Stream Studio - DataWorks

本文为您介绍 Stream Studio的相关问题。 使用 ...

Spark Streaming作业配置 - E-MapReduce

本文介绍如何配置Spark Streaming类型的作业 ...

Stream API - CDN

本文为您介绍 Stream API的定义和未能实现的方法 ...

【Azure Services Platform Step by Step-第1篇】INTRODUCING THE AZURE SERVICES PLATFORM

nullAzure,这个简单优美的单词,从2008年11月28日开始,被赋予了另所有程序员心潮澎湃的意义。对,她就是庞大的微软帝国的一次豪赌。Azure,全程Azure Services Platform。主页是Http://www.azure ...
来自: 开发者社区 > 博客 作者: 技术小阿哥 浏览:10 回复:0

platform "andriod" not recognized as a core cordova platform.怎么解

platform "andriod" not recognized as a core cordova platform.怎么解 ...
来自: 开发者社区 > 问答 作者: 知与谁同 浏览:3 回复:1

platform "andriod" not recognized as a core cordova platform怎么办

platform "andriod" not recognized as a core cordova platform怎么办 ...
来自: 开发者社区 > 问答 作者: 知与谁同 浏览:3 回复:1

从串口驱动的移植看linux2.6内核中的驱动模型 platform device & platform driver【转】

//////////////////////////////////////////////////////在Linux-2.6 16c550 串口驱动移植一文中的static struct platform_device sc16550_device结构体在配置好以后,使用了linux内核模型的 platform总线机制中设备注册接口函数 ...
来自: 开发者社区 > 博客 作者: 桃子红了呐 浏览:7 回复:0

Resouce, platform_device 和 platform_driver 的关系【转】

null转自:http://blog.csdn.net/uruita/article/details/7278313從2.6版本開始引入了 platform這個概念,在開發底層驅動程序時,首先要確認的就是設備的資源信息,例如設備的地址,在2.6內核 ...
来自: 开发者社区 > 博客 作者: 桃子红了呐 浏览:5 回复:0

Windows Azure Platform Introduction (5) Windows Azure Platform

null《Windows Azure Platform 系列文章目录》&Windows Azure 平台分为以下三种1.Windows Azure平台2.SQL Azure平台以微软SQL Server Denali ...
来自: 开发者社区 > 博客 作者: zting科技 浏览:8 回复:0

关于platform_device和platform_driver的匹配【转】

, platform, device,device driver 的模式。我觉得这种模式破坏了Linux的“简单就是美”的哲学,原来那套驱动已经可以包容所有驱动,也可以直接注册驱动文件和管理,而且以前的驱动在现在的结构上也还可以使用,把它在注册到 ...
来自: 开发者社区 > 博客 作者: 桃子红了呐 浏览:5 回复:0

hi,有人配置过 spark.streaming.dynamicAllocation.enabled这个参数吗,这个参数对spark streaming会生效,但是没找到文档说spark structured streaming 是否会生效

有人配置过 spark. streaming.dynamicAllocation.enabled这个参数吗,这个参数对spark streaming会生效,但是没找到文档说spark structured streaming 是否会生效 ...
来自: 开发者社区 > 问答 作者: 社区小助手 浏览:6 回复:0

streaming,streaming,streaming是messaging自然的延伸,需要支持

streamingstreamingstreaming是messaging自然的延伸,需要支持 ...
来自: 开发者社区 > 问答 作者: 1186711619596132 浏览:5 回复:0

Spark Streaming vs. Kafka Stream 哪个更适合你

译者注:本文介绍了两大常用的流式处理框架,Spark Streaming和Kafka Stream,并对他们各自的特点做了详细说明,以帮助读者在不同的场景下对框架进行选择。以下是译文。流式处理的需求每天都在增加,仅仅对大量的数据进行处理是不够的。数据 ...
来自: 开发者社区 > 博客 作者: 知与谁同 浏览:243 回复:1

Spark Streaming vs. Kafka Stream 哪个更适合你

译者注:本文介绍了两大常用的流式处理框架,Spark Streaming和Kafka Stream,并对他们各自的特点做了详细说明,以帮助读者在不同的场景下对框架进行选择。以下是译文。流式处理的需求每天都在增加,仅仅对大量的数据进行处理是 ...
来自: 开发者社区 > 博客 作者: 反向一觉 浏览:57 回复:0

NodeJS Stream 二:什么是 Stream

null对于大部分有后端经验的的同学来说 Stream 对象是个再合理而常见的对象,但对于前端同学 Stream 并不是那么理所当然,github 上甚至有一篇 9000 多 Star 的文章介绍到底什么是 Stream —&mdash ...
来自: 开发者社区 > 博客 作者: 橘子红了呐 浏览:2 回复:0

Living the Stream: Live-streaming in China

Live- streaming is when an individual transmits or receives live video and audio coverage of an event over the Internet. ![Blog ...
来自: 开发者社区 > 博客 作者: 芷沁 浏览:28 回复:0

Spark修炼之道(进阶篇)——Spark入门到精通:第十三节 Spark Streaming—— Spark SQL、DataFrame与Spark Streaming

主要内容Spark SQL、DataFrame与Spark Streaming1. Spark SQL、DataFrame与Spark Streaming源码直接参照:https://github.com/apache ...
来自: 开发者社区 > 博客 作者: 周志湖 浏览:1381 回复:0

Spark Streaming概念学习系列之Spark Streaming 架构(二)

null&                             图 1 & & &Spark Streaming 架构图&&&Spark Streaming ...
来自: 开发者社区 > 博客 作者: 技术小哥哥 浏览:12 回复:0

Spark Streaming场景应用- Spark Streaming计算模型及监控

Spark Streaming是一套优秀的实时计算框架。其良好的可扩展性、高吞吐量以及容错机制能够满足我们很多的场景应用。本篇结合我们的应用场景,介结我们在使用Spark Streaming方面的技术架构,并着重讲解Spark Streaming两种计算 ...
来自: 开发者社区 > 博客 作者: 知与谁同 浏览:196 回复:0

Global Live-streaming For Business: Getting Started on the Cloud

Live-streaming is the transmission of video or audio content simultaneously recorded and broadcast in real time to an audience. It’s also one of the ...

Welcome to the Edge: How to Unlock HD Live-Streaming

Live-streaming is one of the fastest growing services in the multimedia industry. In 2016, the global market was worth more than USD $30BN and it’s p...

使用Spark SQL构建批处理程序

前言 今天介绍利用 StreamingPro 完成批处理的流程。 准备工作 下载StreamingPro README中有下载地址 我们假设您将文件放在了/tmp目录下。 填写配置文件 实例一,我要把数据从ES导出到HDFS,并且形成csv格式。 gist  启动Streami...

使用Spark SQL构建交互式查询引擎

前言 StreamingPro 原来仅仅是用来作为Spark Streaming的一个配置化+SQL封装,然而不经意间,已经涵盖了批处理,交互式查询等多个方面。今天就讲讲如何使用StreamingPro构建一个交互式查询引擎。 准备工作 下载StreamingPro README中有下载...

StreamingPro使用教程

准备工作 下载Spark 1.6.2 下载StreamingPro 我们假设你下载的StreamingPro包在/tmp目录下。 复制如下模板{ "esToCsv": { "desc": "测试", "strategy": "streaming.core.stra...

使用IIS 7.0 Smooth Streaming 优化视频服务

使用IIS 7.0 Smooth Streaming 优化视频服务 一、Smooth Streaming简介          为了丰富网站内容,在现有的网站中,加入少许视频,是很多网站遇到的事情,流媒体服务器高昂的价格以及,让很多网站望而却步,如何在现有的基础上优化视频播放呢,针对I...

使用IIS 7.0 Smooth Streaming 优化视频服务

一、Smooth Streaming简介          为了丰富网站内容,在现有的网站中,加入少许视频,是很多网站遇到的事情,流媒体服务器高昂的价格以及,让很多网站望而却步,如何在现有的基础上优化视频播放呢,针对IIS微软推出了一块视频加速软件, Smooth Streaming ...

主流流媒体服务器

1 Flash流媒体服务器 Red52 Darwin Streaming Server3 流媒体服务器 Open Streaming Server4 MPEG4IP5 开源流媒体平台 FreeCast6 流媒体服务器 Yass7 开源流媒体平台 Stream-2-Stream8 Flumotion...

StreamingPro 支持Spark Structured Streaming

前言Structured Streaming 的文章参考这里: Spark 2.0 Structured Streaming 分析。2.0的时候只是把架子搭建起来了,当时也只支持FileSource(监控目录增量文件),到2.0.2后支持Kafka了,也就进入实用阶段了,目前只支持0.10的Kaf...

小米流式平台架构演进与实践

作者:夏军@小米 小米业务线众多,从信息流,电商,广告到金融等覆盖了众多领域,小米流式平台为小米集团各业务提供一体化的流式数据解决方案,主要包括数据采集,数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条,实时同步任务 1.5 万,实时计算的数据 1 万亿条。 伴随着小米业务的发展,流...
< 1 2 3 4 ... 257 >
共有257页 跳转至: GO

新品推荐

你可能感兴趣

热门推荐

2021阿里云采购季 采购季云服务器会场 采购季数据库会场 采购季存储会场 采购季云网络会场 采购季云通信会场 采购季中小企业应用会场 采购季大数据会场 采购季人工智能会场 CDN与视频云分会场 采购季物联网分会场 采购季安全分会场