开源大数据处理技术-圈子-云栖社区-阿里云

哪些场景不适合 并不是所有的场景都适合使用emapreduce+oss,对于以下场景目前不适合:过多的 小的文件,比如小于10m,请合并小文件,当数据量在128m以上,使用emr+oss的性能最佳。频繁操作OSS元数据的操作,此块emr...
来自: 阿里云 >网站

iOS 开发库(iOS Developer Library)

三部分是最基础的:1、语言与开发工具:语言与工具(Languages&Utilities):共39篇 OS X 免费提供了软件开发工具以及编程和脚本语言用于创建绝妙的软件。使用这些工具和语言可以构建、调试和优化软件应用。Create...
来自: 阿里云 >网站

在Livemedia的基础上开发自己的流媒体客户端

Live的网站上doxgen产生的帮助文档以及各个类之间的相互关系,这里不再螯述,不过这里要提醒的是,live的库代码可以同时供服务器和客户端使用,因此如果只是开发单个程序或者需要把服务器和客户端的程序分割清楚的...
来自: 阿里云 >网站

阿里云高校特惠,助力学生创业梦!0元体验,快速入门云计算!

建个炫酷的简历网页,制作一个浪漫的表白网页,打造个人专属网盘,多种动手场景应用免费学!!!
广告

我的Java开发学习之旅->Java经典面试题

(1)她本身的谈吐气质就决定了她找工作没问题,应聘工作除了要求那些必需的技能外,关键一点还要看这个人的性格和素养,按她的条件,如果她要找软件开发方面的工作,只需要把技术补上就可以了,这一点在传智播客...
来自: 阿里云 >网站

Hadoop-The Definitive Guide 笔记二

那么没有一种Framework,能够让用户仅仅focus在怎样处理datadata flow上,而把这些底层的MapReduce和Java给屏蔽掉,好,Pig粉墨登场了,这个是Yahoo捐给Apache的一个项目,也是模仿google的一个项目开发的。Pig...
来自: 阿里云 >网站

net人员用Java 之Java EE

framework for handling data in different MIME types.It is used by JavaMail.XML processing:Most Java EE components can be deployed with optional XML deployment descriptors,and applications often ...
来自: 阿里云 >网站

继Cloud,Machine Learning之后,OOW2017的第三个关键...

Data 速度,即变化快,时效性强 Variety:Different forms of Data 多种表现形式 Veracity:Uncertainty of Data 数据的不确定性 [image](https://yqfile.alicdn.com/1989d3dba5259d75b772267998969added81d1ca.png)...
来自: 阿里云 >网站

Hadoop生态圈一览

structured data storage for large tables.Hive™:A data warehouse infrastructure that provides data summarization and ad hoc querying.Mahout™:A Scalable machine learning and data mining library.Pig™:...
来自: 阿里云 >网站

一些关于流媒体的基本概念

proprietary network-streaming protocol,serves to transfer unicast data in Windows Media Services(previously called NetShow Services).MMS can be transported via UDP or TCP.The MMS default port is UDP/...
来自: 阿里云 >网站

《高可用架构·中国初创故事(第3期)》一来自Google...

监控系统,能显示实时的 SLA 变化,会对系统的开发计划很强烈的指导作用。Q2:能详细说一下做到“crash without data loss” 需要在哪些点上下功夫吗?这个事情说起来简单,实际实现起来非常复杂。因为很多东西深究...
来自: 阿里云 >网站

开源网络通信库参考

follow:《使用Varnish代替Squid做网站缓存加速器的详细解决方案》Multimedia Streaming and P2P An RTSP Toolkit oRTP oRTP-a Real-time Transport Protocol(RFC3550)stack under LGPL References as follow:oRTP ...
来自: 阿里云 >网站

来自 Google 的高可用架构理念与实践

监控系统,能显示实时的 SLA 变化,会对系统的开发计划很强烈的指导作用。2.能详细说一下做到“crash without data loss” 需要在哪些点上下功夫吗?这个事情说起来简单,实际实现起来非常复杂。因为很多东西深究...
来自: 阿里云 >网站

Thrift

鼓励使用最合适的语言和工具来快速实现功能,所以不同的工程师使用不同的语言,带来一个明显的问题,不同语言开发的模块之间的整合问题.Given this design choice,we were presented with the challenge of building a ...
来自: 阿里云 >网站

深入了解 Dojo 的服务器推送技术

2.基于 Iframe 及 htmlfile 的流(streaming)方式。这里我们采用第一种方式实现,即:客户端先向服务器端发送一个 HTTP Request,服务器端接收到后,阻塞在那边,等服务器消息的时候,则返回一个 HTTP Response ...
来自: 阿里云 >网站

智汇数据 集聚价值 开启大数据财富大门

相关性——Embeddable cloud service使得任何云应用能够快速和动态地嵌入相关业务数据。安全性—— Pervasive data privacy保护敏感数据,无论它们在何处、如何被使用和被何人使用,用一个单一的解决方案结合 ...
来自: 阿里云 >网站

Hadoop TDG 2-HDFS

designed for storing very large files with streaming data access patterns, running on clusters of commodity hardware.Let’s examine this statement in more detail:Very large files&“Very large”in this...
来自: 阿里云 >网站

2016年终盘点大数据篇:跨越巅峰,迈向成熟

Apex等等不同的计算框架,而这些计算框架各自不同的开发API,如何能够屏蔽底层的差异,使得上层一个统一的表达,对于大数据应用开发者来讲就变得非常意义了。TalkingData在构造自己的Data Cloud的时候就面临这...
来自: 阿里云 >网站

大数据的2016全解析:持续火热、多点创新还不够,它...

Apex等等不同的计算框架,而这些计算框架各自不同的开发API,如何能够屏蔽底层的差异,使得上层一个统一的表达,对于大数据应用开发者来讲就变得非常意义了。TalkingData在构造自己的Data Cloud的时候就面临这...
来自: 阿里云 >网站

Kafka Design

extensible“pipes”and“sinks”,and makes streaming log data very flexible.It also has more integrated distributed support.However,most of those systems are built for consuming the log data offline,...
来自: 阿里云 >网站

『Spark』5.这些年,你不能错过的 spark 学习资源

写这样一个系列仅仅是为了梳理个人学习spark的笔记记录,所以一切以能够理解为主,没有必要的细节就不会记录了,而且文中时候会出现英文原版文档,只要不影响理解,都不翻译了。若想深入了解,最好阅读参考文章和...
来自: 阿里云 >网站

我的Android进阶之旅->Android中编解码学习笔记

尤其移动互联网业务的兴起,在运营商和应用开发商中,媒体业务份量极重,其中媒体的编解码服务涉及需求分析、应用开发、释放license收费等等。最近因为项目的关系,需要理清媒体的codec,比较搞的是,在豆丁网上看...
来自: 阿里云 >网站

物联网最全指南:你需要掌握的 9 大关键点|双语阅读

3.按需定制和流服务 On-Demand and Streaming Services Amazon Dash is a new service that automates your home’s daily operations.For example,when you place Amazon’s dash button in your bathroom,you can ...
来自: 阿里云 >网站

iOS 各版本中的新特性(What&39;...

Peer-to-Peer Connectivity 新框架 New Frameworks 已框架的加强 Enhancements to Existing Frameworks UIKit框架 UIKit Framework 商店工具箱框架 Store Kit Framework 通行证工具箱框架 Pass Kit Framework...
来自: 阿里云 >网站

加速企业级大数据方案落地 IBM聚力发挥Spark优势

基于Spark组件,IBM提供了多方面的大数据解决方案,包括BigInsights、数据科学体验(Data Science Experience)、dashDB数据仓库及Spark即服务(Spark as a Service)等。Spark即服务将Spark产品以云服务的方式直接交付...
来自: 阿里云 >网站

大数据环境下该如何优雅地设计数据分层

主题层(DM,date market或DWS,data warehouse service) 概念:又称数据集市或宽表。按照业务划分,如流量、订单、用户等,生成字段比较多的宽表,用于提供后续的业务查询,OLAP分析,数据分发等。数据生成方式:由...
来自: 阿里云 >网站

史上最全“大数据”学习资源整理

Apache Spark Streaming:流处理框架,同时是Spark的一部分;Apache Storm Twitter流处理框架,也可用于YARN;Apache Samza:基于Kafka和YARN的流处理框架;Apache Tez 基于YARN,用于执行任务中的复杂DAG(向无环图);...
来自: 阿里云 >网站

4位专家解读2015大数据技术进展

本文是大数据解读篇,在这篇文章里我们将回顾2015展望2016,看看过去的一年里广受关注的技术有哪些进展,了解下数据科学家这个职业的火热。在关键技术进展部分,从大数据生态圈众多技术中选取了Hadoop、Spark、...
来自: 阿里云 >网站

【漫谈数据仓库】如何优雅地设计数据分层

减少重复开发:规范数据分层,开发一些通用的中间层数据,能够减少极大的重复计算。把复杂问题简单化。讲一个复杂的任务分解成多个步骤来完成,每一层只处理单一的步骤,比较简单和容易理解。而且便于维护数据的准确...
来自: 阿里云 >网站

从存储、实时、安全的角度谈如何建立完整可用的企业大...

生态圈的应用场景,但仍存两个显而易见的挑战:一是在一个平台上需要维护三个开发堆栈;二是在不同框架内很难共享数据,比如很难在一个框架内对流数据做交互式查询。这也意味着我们需要一个更为统一和支持更好抽象...
来自: 阿里云 >网站

《Spark大数据处理:技术、应用与性能优化》——1.5 ...

Simple Queue Service)、Amazon DynamoDB以及Amazon CloudFront等。基于以上的组件,亚马逊开始提供EMR上的弹性Spark服务。用户可以像之前使用EMR一样在亚马逊动态申请计算节点,可随着数据量和计算需求来动态扩展...
来自: 阿里云 >网站

大数据环境下该如何优雅地设计数据分层

data warehouse service) 概念:又称数据集市或宽表。按照业务划分,如流量、订单、用户等,生成字段比较多的宽表,用于提供后续的业务查询,OLAP分析,数据分发等。数据生成方式:由轻度汇总层和明细层数据计算...
来自: 阿里云 >网站

大数据环境下该如何优雅地设计数据分层

data warehouse service) 概念:又称数据集市或宽表。按照业务划分,如流量、订单、用户等,生成字段比较多的宽表,用于提供后续的业务查询,OLAP分析,数据分发等。数据生成方式:由轻度汇总层和明细层数据计算...
来自: 阿里云 >网站

时序列数据库武斗大会之TSDB名录 Part 2

通过基于TCP或UDP的协议接收数据(支持百万数据点每秒)*Continuous queries(streaming)Akumuli 由两部分组成:存储引擎和服务程序。目前只有存储引擎被实现了,而且存储引擎可以在没有服务程序的情况下作为嵌入式...
来自: 阿里云 >网站

大数据环境下该如何优雅地设计数据分层

主题层(DM,date market或DWS,data warehouse service) 概念:又称数据集市或宽表。按照业务划分,如流量、订单、用户等,生成字段比较多的宽表,用于提供后续的业务查询,OLAP分析,数据分发等。数据生成方式:由...
来自: 阿里云 >网站

Hadoop学习资源集合

developers.&Hive_test-Unit test framework for hive and hive-service&Flume Plugins&Flume MongoDB Sink&Flume HornetQ Channel&Flume MessagePack Source Flume RabbitMQ source and sink&Flume UDP Source&...
来自: 阿里云 >网站

深入理解Spark:核心思想与源码分析

service,ODPS),并且基于ODPS与其他小伙伴一起构建阿里的大数据商业解决方案—御膳房。去杭州出差的过程中,有幸认识和仲,跟他学习了阿里的实时多维分析平台—Garuda和实时计算平台—Galaxy的部分知识。和仲推荐...
来自: 阿里云 >网站

Java资源大全中文版(Awesome最新版)

数据结构(Data structures)Efficient and specific data structures.高效和具体的数据结构。Apache Avro-数据交换格式包括动态打字,未标记数据,缺少手动分配的ID。Apache Orc-用于基于hadoop的工作负载的快速高效...
来自: 阿里云 >网站

大数据的那些事儿

Apache Spark Streaming:流处理框架,同时是Spark的一部分;Apache Storm:Twitter流处理框架,也可用于YARN;Apache Samza:基于Kafka和YARN的流处理框架;Apache Tez:基于YARN,用于执行任务中的复杂DAG(向无...
来自: 阿里云 >网站

数据进入阿里云数加-分析型数据库AnalyticDB(原ADS)...

2)、通过数据集成(Data Integration)实现批量数据导入 数据集成(Data Integration),是阿里集团对外提供的稳定高效、弹性伸缩的数据集成平台,为阿里云大数据计算引擎(包括MaxCompute、Analytic DB、OSS)提供离线...
来自: 阿里云 >网站

深入理解Spark:核心思想与源码分析....

service,ODPS),并且基于ODPS与其他小伙伴一起构建阿里的大数据商业解决方案—御膳房。去杭州出差的过程中,有幸认识和仲,跟他学习了阿里的实时多维分析平台—Garuda和实时计算平台—Galaxy的部分知识。和仲推荐...
来自: 阿里云 >网站

Hadoop就业面试题

7.0 你认为用java,streaming,pipe方式开发map/reduce,各有哪些优点 就用过 java 和 hiveQL。Java 写 mapreduce 可以实现复杂的逻辑,如果需求简单,则显得繁琐。HiveQL 基本都是针对 hive 中的表数据进行编写,...
来自: 阿里云 >网站

Vitamio FAQ(2012-11-20)

我们在北京,目前团队5名成员,4名开发,1名设计师,以开发VPlayer为主,Vitamio为辅 1.7 Vitamio与VPlayer什么关系?VPlayer基于Vitamio开发,所以VPlayer能播放的Vitamio也能。OPlayer基于Vitamio开发,作为推广...
来自: 阿里云 >网站

Hadoop详细配置

HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。1.2 为什么选择CDH版本?0?1 CDH基于稳定版Apache Hadoop,并应用了最新Bug修复或者Feature的Patch...
来自: 阿里云 >网站

使用 SCTP 优化网络

SCTP 还提供了几个高级特性:多宿主(Multi-homing)多流(Multi-streaming) 初始化保护(Initiation protection)消息分帧(Message framing)可配置的无序发送(Configurable unordered delivery)平滑关闭...
来自: 阿里云 >网站

解读2015之大数据篇:大数据的黄金时代

本文是大数据解读篇,在这篇文章里我们将回顾2015展望2016,看看过去的一年里广受关注的技术有哪些进展,了解下数据科学家这个职业的火热。在关键技术进展部分我们在大数据生态圈众多技术中选取了Hadoop、Spark、...
来自: 阿里云 >网站

CIO指南:如何使用SAP HANA平台处理大数据

企业期望 技术、解决方案和技能 企业对大数据的期望有哪些?营销分析?销售分析?运营分析?财务分析?我们应考虑哪种技术?能否采用统一的平台?我们将需要哪些技能组合?上表左侧显示了与大数据有关的值得思考的常见...
来自: 阿里云 >网站

PostgreSQL修炼之道:从小工到专家

978-7-111-49872-8 定 价:79.00元 凡购本书,如缺页、倒页、脱页,由本社发行部调换 客服热线:(010)88378991 88361066 投稿热线:(010)88379604 购书热线:(010)68326294 88379649 68995259 读者信箱...
来自: 阿里云 >网站

Linux:介绍make menuconfig中的每个选项含义【转】

其他作品本文作者十分愿意与他人共享劳动成果,如果你对我的其他翻译作品或者技术文章兴趣,可以在如下位置查看现有作品的列表: 金步国作品列表 BUG报告,切磋与探讨由于作者水平有限,因此不能保证作品内容准确...
来自: 阿里云 >网站

awesome-android

ThinkAndroid是一个免费的开源的、简易的、遵循Apache2开源协议发布的Android开发框架,其开发宗旨是简单、快速的进行 Android应用程序的开发 [https://github.com/white-cat/ThinkAndroid]...
来自: 阿里云 >网站

HTTPDNS_移动开发_域名解析_域名防劫持-阿里云

HTTPDNS,域名解析,域名防劫持,移动 开发 HTTPDNS是面向移动 开发者推出的一款域名解析产品,具有域名防劫持、精准调度的特性。 HTTPDNS HTTPDNS是面向移动 开发者推出的一款域名解析产品,具有域名防劫持、精准调度的特性。 立即开通 购买 ... 查看帮助文档> 价格>
来自: 阿里云 >网站

阿里云推荐返现计划

:30天推广期返利。 4、做 哪些行为,更容易推广成功? 数据表明,每天花30分钟进行10次推广更容易成功:①学习云计算等IT知识,如懂软件编写与 开发,使用阿里云的主机建站或 个人网站(博客),可以嵌入广告或持续写文章发软文; ②学习如何推广,如 相关专业群或 ...
来自: 阿里云 >网站

(重庆)峰会_2015年云栖大会-阿里云开发者大会

2015阿里云 开发者大会,(重庆)峰会,云栖大会 阿里云 开发者大会邀请了政府代表、专家学者与合作伙伴、大中型行业企业、中小创业者、企业等等共聚一堂,展示初见繁荣的云上生态;促进云计算生态上各环节的连接、交流与融合;并通过云及云上生态之间的连接,推动云的能量不断扩散放大。云创时代,云栖大会2015(重庆)峰会邀您共同见证云为科技、商业、民生等行业赋予的全新能量。 ...
来自: 阿里云 >网站

(成都)峰会_2015年云栖大会-阿里云开发者大会

2015阿里云 开发者大会,(成都)峰会,云栖大会 阿里云 开发者大会邀请了政府代表、专家学者与合作伙伴、大中型行业企业、中小创业者、企业等等共聚一堂,展示初见繁荣的云上生态;促进云计算生态上各环节的连接、交流与融合;并通过云及云上生态之间的连接,推动云的能量不断扩散放大。云创时代,云栖大会2015(成都)峰会邀您共同见证云为科技、商业、民生等行业赋予的全新能量。 ...
来自: 阿里云 >网站

(武汉)峰会_2015年云栖大会-阿里云开发者大会

2015阿里云 开发者大会,(武汉)峰会,云栖大会 阿里云 开发者大会邀请了政府代表、专家学者与合作伙伴、大中型行业企业、中小创业者、企业等等共聚一堂,展示初见繁荣的云上生态;促进云计算生态上各环节的连接、交流与融合;并通过云及云上生态之间的连接,推动云的能量不断扩散放大。云创时代,云栖大会2015(武汉)峰会邀您共同见证云为科技、商业、民生等行业赋予的全新能量。 ...
来自: 阿里云 >网站

定制化开发服务

定制化产品 开发服务,嵌入式软件 开发定制 ...
来自: 阿里云 >网站

开发者资源首页 - 阿里云

开发者资源首页 - 阿里云 ...
来自: 阿里云 >网站

IoT 开发者社区

IoT 开发者社区 ...
来自: 阿里云 >网站

移动APP定制开发

金融、医疗、教育行业定制化软件 开发 ...
来自: 阿里云 >网站

IMX6Q全能开发板

SAIL-IMX6Q全能 开发板嵌入式系统工业级 ...
来自: 阿里云 >网站

智能终端设计开发

为各行业领域提供优质高效的智慧终端定制 开发服务 ...
来自: 阿里云 >网站

贵州车展网站开发

开发快,客户投入使用回报高 ...
来自: 阿里云 >网站

智能共享充电桩系统定制开发智能充电桩硬件

智能共享充电桩系统定制 开发及智能充电桩硬件,支持贴牌运营 ...
来自: 阿里云 >网站

基于.NET Core 开发的SDK

基于.NET Core 开发的阿里云物联网SDK ...
来自: 阿里云 >网站

微信小程序开发

微信小程序 开发服务 ...
来自: 阿里云 >网站

智能门锁方案开发人脸识别功能设计

前瞻趋势十四年电子产品软硬云方案 开发设计经验 ...
来自: 阿里云 >网站

智能音箱软硬件定制开发APP方案

前瞻趋势十三年电子产品软硬云方案 开发设计经验 ...
来自: 阿里云 >网站

智能投影仪开发APP设计

前瞻趋势十三年电子产品软硬云方案 开发设计经验 ...
来自: 阿里云 >网站

智能垃圾桶开发软硬件设计

前瞻趋势十三年电子产品软硬云方案 开发设计经验 ...
来自: 阿里云 >网站

智能灯方案APP开发

前瞻趋势十三年电子产品软硬云方案 开发设计经验 ...
来自: 阿里云 >网站
< 1 2 3 4 ... 7 >
共有7页 跳转至: GO

你可能感兴趣

热门推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务