大游戏-游戏数据运营解决方案

1.基于开源框架封装的多种数据采集工具,丰富游戏业务的数据来源,同时配合阿里云提供的流式数据处理服务(DataHub),轻松构建基于流式数据的高可用,低延迟,高可扩展,高吞吐的分析和应用;2.Max Compute、Stream...
来自: 阿里云 > 网站

移动APP解决方案_移动网络加速_移动推送_移动数据分析...

移动APP解决方案 阿里云移动APP解决方案,助力开发者轻松应对移动app中随时可能出现的用户数量的爆发式增长、复杂的移动安全挑战等问题。助力移动开发者实现基于大数据技术的精细化运营、提升产品质量和体验、增强...
来自: 阿里云 > 网站

合作与生态-云合作-数梦工场-大数据解决方案

合作与生态>云合作>数梦工场合作>DThink大数据解决方案 数梦工场·DThink大数据解决方案 DThink大数据系列产品是数梦工场针对大规模数据分析场景所设计的商用大数据产品,能 够提供TB/PB级别以上的数据分析处理能力...
来自: 阿里云 > 网站

云服务器 精选特惠

新用户低至0.55折起,爆款免费试用3个月
广告

光伏切片智能工厂解决方案

光伏切片智能工厂解决方案 提供光伏产业链客户透明化生产,数据化管理解决方案 多维度数据 结合生产过程多维度数据来源,计算结果更加精确 专业算法 基于历史数据样本训练专业工艺算法 一站式大数据 光伏生产数据量...
来自: 阿里云 > 网站

阿里云解决方案热门场景

3、无缝衔接国家信息中心电子数据司法鉴定中心司法鉴定意见书 4、为企业机构研究、决策提供真实数据 立即购买 查看新零售解决方案 移动APP热门行业场景 移动推送解决方案 智能门禁APP 移动APP定制开发 移动端快速...
来自: 阿里云 > 网站

广告需求方平台DSP解决方案

提供全套的容灾切换、故障迁移、在线扩容数据解决方案 ¥100/月 点击购买 架构咨询与服务 免费试用 企业实名认证用户享云产品免费试用 立即参加 电子合同生成 1 确认订单 购买套餐,一键下单 2 生成电子合同 选择...
来自: 阿里云 > 网站

互联网+政务云解决方案

互联网+政务云解决方案 解决政府部门之间信息共享、服务协同、安全合规以及系统扩展中碰到的技术问题 安全合规 符合国家政务云相关合规要求,保证系统安全可靠 信息共享 解决政府部门之间信息孤岛打通难的问题 弹性...
来自: 阿里云 > 网站

广告流量平台SSP解决方案

阿里云资深业务架构师,专注数字营销解决方案及生态建设、大数据相关技术及解决方案咨询,对企业营销系统与云计算的结合有丰富的实战经验。阿里云资深业务架构师,负责社交、通信、数字营销行业。具有十年以上技术...
来自: 阿里云 > 网站

专有云解决方案_阿里云

企业级分布式应用服务是企业级互联网架构解决方案的核心产品,充分利用阿里云现有资源管理和服务体系,引入中间件成熟的整套分布式计算框架(包括分布式服务化框架、服务治理、运维管控、链路追踪和稳定性组件等),...
来自: 阿里云 > 网站

工业大数据

工业大数据解决方案 人工智能及大数据技术赋能工业制造生产、销售、研发过程,帮助客户提升产能,降低成本,提高良品率 专业算法 基于历史数据样本训练专业工艺算法 多维度数据 结合生产过程多维度数据来源,计算...
来自: 阿里云 > 网站

合作与生态-云合作-数梦工场-大数据一体机

DThink大数据一体机覆盖了从数据基础设施、数据中心到数据应用的所有维度,提供业界最全面的大数据解决方案。在数据基础设施层面,提供了业界最强的集群能力,集群规模可横向扩展至200个节点;在数据处理层面,提供...
来自: 阿里云 > 网站

阿里云数加大数据体验馆-构建百亿数据毫秒级响应的...

DataHub服务是阿里云提供的流式数据处理(Streaming Data)服务,它提供流式数据的发布(Publish)和订阅 (Subscribe)的功能。立即试用 免费 分析型数据库(AnalyticDB)可以在毫秒级针对千亿级别数据进行即时的多维分析...
来自: 阿里云 > 网站

阿里云数加大数据体验馆-轻松搞定网站日志实时分析及...

如果您已经熟悉使用整套解决方案,可以根据个性化定制如下大屏并对接RDS数据。亲,您的浏览器版本太低,暂时无法加载显示 请您升级到高版本的浏览器,或者切换成chrome浏览器进行查看 常见问题 Q:在使用Logstash向...
来自: 阿里云 > 网站

视频监控

方案优势 架构售卖 架构咨询与服务 文档与帮助 SDK与插件 解决方案推荐 业务架构 技术架构 智能视频监控业务架构 基于阿里云产品技术,实现海量、稳定、智能、清晰流畅及高性价比的智能视频监控系统 架构优势 百万级...
来自: 阿里云 > 网站

视频监控专题页面

海量存储空间,无限扩容,服务可用性高达99.9%企业级安全防护和防DDOS攻击 为您量身定制的安防监控行业云解决方案+资深架构师技术支持 上行流量全部免费,高度合适海量上传,少量下载的视频监控场景 支持设备直存,...
来自: 阿里云 > 网站

OSS学堂之中级进阶

Java上传示例代码 设备直连架构参考>解决方案参考文档>场景应用 安防监控流式存储解决方案 网页上传(表单上传) 如果您想让您的客户通过网站将上传的小文件直接存储到OSS上,而不通过应用服务器进行中转,您可以...
来自: 阿里云 > 网站

如何将个性化需求变成大数据解决方案

计算引擎确定用流计算的方案后,对应的数据写入就需要使用流计算引擎支持的流式数据上传方式进行写入。而流计算后的结果,可以通用的写入到数据库供后续调用,或者写到消息中间件进行业务系统调用。产品方案 以阿里...
来自: 阿里云 > 网站

双11数据大屏背后的秘密:大规模流式增量计算及应用

阿里云大数据计算平台架构师钱正平做了题为《大规模流式增量计算及应用》的分享,钱正平结合阿里巴巴真实的业务场景为大家分享了流式增量计算编程方面的挑战和当前的解决方案。首先从理解什么是数据流开始今天的分享...
来自: 阿里云 > 网站

《在线用户行为分析:基于流式计算的数据处理及应用》...

到此为止,相信大家一定程度掌握了阿里云流式日志的分析及处理解决方案有了一定了解,包括Log、StreamCompute到最后的DataV大屏展示。更多内容请大家持续关注文章的更新和后续的workshop内容出品。
来自: 阿里云 > 网站

如何保障流式处理的数据一致性

这个方案可以解决数据不丢的需求,当然这个方案也并不完美,问题如下,1.无法保证Exactly-Once,只能保证Least-Once& 因为发生异常的10小时中,还是有比较少量的日志数据是被成功写入的,replay时,这部分数据会重复...
来自: 阿里云 > 网站

《机器人操作系统ROS原理与应用》...如何选择解决方案

转型过程中可能涉及数字化运营、个性化服务、流程模式重构、组织结构重组等内容,此时需要大数据在各个方面发挥辅助决策甚至应用驱动作用,是否具备针对这些内容的聚焦点和解决方法,是考察大数据解决方案的侧重点。...
来自: 阿里云 > 网站

Apache Eagle:分布式实时 Hadoop 数据安全方案

Infrastructure)是eBay的全球数据及分析基础架构部门,负责eBay在数据库、数据仓库、Hadop、商务智能以及机器学习等各个数据平台开发、管理等、支持eBay全球各部门运用高端的数据分析解决方案作出...
来自: 阿里云 > 网站

HTAP数据库——HybirdDB for MySQL产品和典型方案介绍

MySQL给整个阿里云产品提供了稳定可靠的数据服务:智能图像解决方案CloudPhoto+MTS+CDN,视频类及解决方案LiveVideo+MTS+CDN等等。CDN、视频直播、视频转码,很多多媒体的产品数据都放在了HybirdDB上,提供了持续...
来自: 阿里云 > 网站

漫谈流式计算的一致性

这是种比较简单的流式数据的场景,典型的应用是数据ETL,数据存储,数据流过是没有状态的 保证at least once语义,& 分钟级别,Storm的acker机制,就可以很好的保证,&...
来自: 阿里云 > 网站

仁人帮探索大数据技术

我们看看大数据技术生态中的不同解决方案,也对比看看阿里云数加的解决方案,最后我也会单独介绍数加。1、大数据生态技术体系 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop的框架最核心的设计就是...
来自: 阿里云 > 网站

解决海量数据计算、降低企业成本的利器——MaxCompute

MaxCompute(原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute能向用户提供完善的数据导入方案,以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并...
来自: 阿里云 > 网站

详解IBM大数据应用五大方向

Advisor)等最新的大数据技术,使得IBM的大数据解决方案在基础架构、大数据平台、分析、行业及领域的解决方案以及咨询和实施服务方面更加丰满。IBM全球副总裁兼IBM中国开发中心总经理王阳博士在接受ZDNet采访时表示,...
来自: 阿里云 > 网站

从小数据分析到大数据平台,这十几年来大数据开源技术...

当数据快速发展的时候,当时我们确实也存在很多数据解决方案,这些解决方案主要是由IBM等等公司提供。这些解决方案看起来非常并行,是企业数据的解决方案。但是对于这些解决方案存在的问题就是针对专属的数据,要...
来自: 阿里云 > 网站

《智能数据时代:企业大数据战略与实战》一第2章 数据...

然而,对于通过分析数据(包括来自传感器、社交媒体、网站和其他流式数据源的数据)可能解决的业务问题,这些方法很少能在没有假设的情况下工作。为了发展这种假说,你的公司或组织里也许应该组织一场远景规划的会议...
来自: 阿里云 > 网站

分析型数据库+数据传输,构建企业级实时数仓

阿里云实时数据解决方案 阿里云作为服务阿里巴巴集团和蚂蚁金服集团多年的云计算和大数据基础设施供应商,提供了完备的实时数仓解决方案:包括实时数据同步工具 数据传输、实时分析型数据库AnalyticDB(ADS)、...
来自: 阿里云 > 网站

NTT Communications 携手艾默生入围亚太地区数据中心...

“关键环境中的未来思维”类奖项,旨在认可塑造下一代先进数据中心解决方案的创新技术和思维方式。获奖者必须在“开发可实质性、显著地改进数据中心设计、运营和管理的解决方案”方面展现卓越能力。同时,FDC2项目还...
来自: 阿里云 > 网站

《Spark与Hadoop大数据分析》一一1.2 大数据科学以及...

为了实施这个解决方案,需要使用新的工具和技术,还需要一个新的角色:数据科学家。数据科学家具备多种技能—统计、软件编程和业务专业知识。数据科学家能够创建数据产品,并从数据中提炼出价值。让我们来看看数据...
来自: 阿里云 > 网站

Logstash+DataHub+MaxCompute/...进行实时数据分析

结合StreamCompute(Galaxy)用户可以方便的完成流式数据从采集,传输,开发到结果数据存储与展示的整套解决方案。同时,还可以通过创建Collector同步任务将数据同步到MaxCompute(ODPS),之后在MaxCompute上进行完备的...
来自: 阿里云 > 网站

【大数据干货】轻松处理每天2TB的日志数据,支撑运营...

流计算(StreamCompute,规划中)https://data.aliyun.com/product/sc •流式数据发布和订阅(DataHub) 另外,由于每天产生的数据量较大,上传数据会占用带宽,为了不影响业务系统的网络资源,客户开通了阿里云高速...
来自: 阿里云 > 网站

360度解析企业智能数据湖平台

在“业务潮汐”和“数据湖泊”的理念下,DaoCloud&基于容器化技术引出“计算潮汐”的理念,并将此融入到DCE 应用云平台中形成智能数据解决方案。作为整个智能数据湖平台的核心,该平台通过采用基于 PaaS+Data Lake...
来自: 阿里云 > 网站

阿里云计算能力再次飞跃 流计算2.0每秒峰值达千万QPS

E-MapReduce产品是阿里云上基于开源大数据的云服务产品,包括15+个开源组件的一站式大数据解决方案。周靖人现场发布了基于本地硬盘以及计算存储分离的大数据解决方案。周靖人介绍,为了解决大数据处理以及机器学习的...
来自: 阿里云 > 网站

HybridDB·最佳实践·阿里云数据库PetaData

MySQL已经积累了大量的云服务接口,与RDS和传统解决方案对比起来:此外,HybridDB for MySQL也在努力补齐其他云服务功能,以对齐RDS for MySQL,支持常用的数据操纵平台,如DMS等,支持常用的数据迁移平台,如DTS、...
来自: 阿里云 > 网站

开源大数据的过去、现在及未来

当数据快速发展的时候,当时我们确实也存在很多数据解决方案,这些解决方案主要是由IBM等等公司提供。这些解决方案看起来非常并行,是企业数据的解决方案。但是对于这些解决方案存在的问题就是针对专属的数据,要...
来自: 阿里云 > 网站

数据智能需求旺盛 阿里云MaxCompute 2.0华南区开服

MaxCompute能提供快速、完全托管的从GB到EB级数据仓库解决方案,可经济并高效的分析处理海量数据。目前,MaxCompute单集群规模目前已经达到10000台。在系统设计上,MaxCompute采用抽象的作业处理框架,将不同场景的...
来自: 阿里云 > 网站

主流大数据系统在后台的层次角色及数据流向

为了充分复用服务器的资源,将其空闲部分继续加以利用,虚拟机技术成为了有效的解决方案;同时虚拟机的资源隔离机制,使得服务器的资源分配可以达到更精细的粒度,从而使资源分配更加合理和高效。业界不少大数据平台...
来自: 阿里云 > 网站

历程剖析:阿里云自研HTAP数据库的技术发展之路

传统解决方案利用中间件把一个大数据库的数据切成多个分片,集成到用户的业务代码中提高并行能力,中间件把用户的大查询拆成多个小查询,并行的计算并行的合并。这个思路让用户的代码背上了沉重的中间件,不同的用户...
来自: 阿里云 > 网站

震精-数据库还能这样玩-三十六计(中)

用户画像在市场营销的应用重建中非常常见,已经不是什么新鲜的东西,比较流行的解决方案是给用户贴标签,根据标签的组合,圈出需要的用户。通常画像系统会用到宽表,以及分布式的系统。宽表的作用是存储标签,例如每...
来自: 阿里云 > 网站

数据库选型十八摸 之 PostgreSQL-致 架构师、开发者

小结一下,在危化品的运输环节,使用传感器对货车、集装箱内的危化品的指标进行实时的监控,使用流式数据库pipelineDB流式的处理传感器实时上报的数据;使用PostgreSQL+PostGIS+pgrouting 对于货车的形式路径进行...
来自: 阿里云 > 网站

《大数据分析原理与实践》——1.4 大数据分析的过程...

阿里云的DataHub是一款数据采集产品,可为用户提供实时数据的发布和订阅功能,写入的数据可直接进行流式数据处理,也可参与后续的离线作业计算,并且DataHub同主流插件和客户端保持高度兼容。在大数据的采集过程中,...
来自: 阿里云 > 网站

《大数据分析原理与实践》一一1.4 大数据分析的过程...

阿里云的DataHub是一款数据采集产品,可为用户提供实时数据的发布和订阅功能,写入的数据可直接进行流式数据处理,也可参与后续的离线作业计算,并且DataHub同主流插件和客户端保持高度兼容。在大数据的采集过程中,...
来自: 阿里云 > 网站

阿里十年经验输出,大数据平台“数加”的前世今生

年1月20日,在云栖大会上阿里云发布了一站式大数据平台“数加”,该平台集合了阿里巴巴十年的大数据能力以及上万名工程师实战检验,该平台是一站式的解决方案,首批亮相20款产品,覆盖数据采集、计算引擎、数据加工...
来自: 阿里云 > 网站

《大数据分析原理与实践》一一1.4 大数据分析的过程...

阿里云的DataHub是一款数据采集产品,可为用户提供实时数据的发布和订阅功能,写入的数据可直接进行流式数据处理,也可参与后续的离线作业计算,并且DataHub同主流插件和客户端保持高度兼容。在大数据的采集过程中,...
来自: 阿里云 > 网站

Veeam发力国内市场 坚守最后防线的数据保护卫士

立足于虚拟化数据保护领域,Veeam公司为现代数据中心提供高可用性解决方案,实现15分钟内数据恢复时间,从而减少宕机带来的数据影响。Veeam亚洲及日本副总裁 Julian Quinn 表示:数据恢复时间和数据点目标都要达到...
来自: 阿里云 > 网站

支撑EB级规模的大数据平台深度揭秘

MaxCompute的前身是阿里云的ODPS服务,对于互联网公司、电商等企业用户来说,会有大量的日志、交易、会员数据,需要做分析的时候,应用MaxCompute是个靠谱的方案。如果用它来建一个企业级的数仓,或是做数据异构的...
来自: 阿里云 > 网站

双管齐下,MaxCompute数据上云与生态

传输问题对应的解决方案一是尽量规避长途传输、长途带宽对效率的影响,在Tunnel通道中,支持压缩协议,可以在客户端进行压缩,然后再大包提交,进而提升吞吐量;第二点采用DTS这类基于增量日志的实时上传方式,拉长...
来自: 阿里云 > 网站

【14点正式开始】技术与架构,解析如何将大数据最快...

本次演讲将会介绍阿里云大数据计算服务MaxCompute在解决这个难题中的一些方案和实践。听众预计受益:1)大数据服务新功能在保障数据安全和用户知识产权的前提下高覆盖、高效率的测试方法;2)大数据服务保证高可用高...
来自: 阿里云 > 网站

《大数据管理概论》一2.6 大数据融合的驱动枢纽

本节书摘来自华章出版社《大数据管理...④增量计算(N->N),即针对数据相对于增量远小于绝对基数的现象,采用增量计算理论,需要支持流式数据的实时OLAP分析。除此之外,也可以借助优化硬件技术来支持大数据的处理。
来自: 阿里云 > 网站

【双11背后的技术】双11背后的大规模数据处理

拥有这些和其它诸多能力,Galaxy已经具备了相当完善的实时计算能力,也提供了“一站式”的解决方案。今年双11当天,Galaxy处理了PB级别数据,处理峰值达到了1亿事件每秒,平均处理延迟在毫秒级!除了双11媒体大屏,...
来自: 阿里云 > 网站

IBM放弃BigInsight服务,与Hortonworks打造HDP平台

因此,这个解决方案将为客户提供HDP丰富的数据安全性、监管和操作功能,以及Data Science Experience的高级分析和管理功能。IBM将把现有的IBM BigInsights用户迁移到HDP。“IBM正在HDP上实现标准化,这一点都不奇怪...
来自: 阿里云 > 网站

RDS PostgreSQL\HDB PG 毫秒级海量时空数据透视 典型...

数据来源实时写入pipelinedb进行流式计算,流式计算的结果(例如统计维度为天,TTL设置为7天,每天将前天的统计结果写入报表库RDS PG或者HDB PG),数据来源的明细数据如果要留底,则可以将其写入 HDB PG或OSS。这种...
来自: 阿里云 > 网站

热议话题回顾:数据上云和迁移中可能会遇到哪些问题-...

文件的方式存储,前端可能会有流式或OLTP,但是从原始文件进数据仓库应该是比较高效的方式,比从前端OLTP数据库再ETL来得快。idealities:物联网数据,是不是使用InfluxDB这种更合适?德哥:TS数据库的应用场景有限...
来自: 阿里云 > 网站

2015 Bossie评选:最佳开源大数据工具

Druid在今年二月转为了商业友好的Apache许可证,是一个基于“事件流的混合引擎,能够满足OLAP解决方案。最初他主要应用于广告市场的在线数据处理领域,德鲁伊可以让用户基于时间序列数据做任意和互动的分析。一些...
来自: 阿里云 > 网站

5W1H(六何分析法)全景洞察大数据

专家服务:一般是我们的专家点到点跟客户谈具体的解决方案,具体会遇到的问题。还有比如,优化Hadoop性能,推动Hadoop在下几个版本会默认支持OSS的,见:[HADOOP-12756]...
来自: 阿里云 > 网站

5大架构:细数数据平台的组成与扩展

流处理结构可以用来解决“应用集成”问题,这是个头疼复杂的问题,IT传统大佬:Oracle,Tibco,Informatica都曾经试图想解决,一些部分结果是有用的,但不是真的解决,始终在寻找一套真正可用的解决方案流式处理...
来自: 阿里云 > 网站

解读数据传输DTS技术架构及最佳实践

正是因为数据一致的问题非常重要,所以一定要有数据的一致性校验的能力,而在DTS的异地多活解决方案中恰恰拥有这样的能力,能够轻松地校验两端的数据库是否是一致的,并且可以非常轻松地订正表,当出现问题时也可以...
来自: 阿里云 > 网站

IBM放弃BigInsight服务,与Hortonworks打造HDP平台

因此,这个解决方案将为客户提供HDP丰富的数据安全性、监管和操作功能,以及Data Science Experience的高级分析和管理功能。IBM将把现有的IBM BigInsights用户迁移到HDP。“IBM正在HDP上实现标准化,这一点都不奇怪...
来自: 阿里云 > 网站

除Hadoop外你还需要知道的9个大数据技术

该技术提供了简单的编程模型,可用于批处理和流式数据的处理任务。该技术提供的数据流管理服务可控制数据处理作业的执行,数据处理作业可使用Data Flow SDK(Apache Beam)创建。Google Data Flow为数据相关的任务提供...
来自: 阿里云 > 网站

蒋步星:轻量级大数据计算引擎

分段数足够大,以适应变化的并行数 每段记录数相对平均 数据追加时不必重写所有数据,保持连续性 列存分段 有序与对位分段 倍增分段方案解决列存并行困难 各列同步分段 同列连续存储 有序数据的分段点要落在组边界上...
来自: 阿里云 > 网站

《Spark大数据分析实战》——1.1节初识Spark

Spark的一站式解决方案有很多的优势,分别如下所述。(1)打造全栈多计算范式的高效数据流水线 支持复杂查询与数据分析任务。在简单的“Map”及“Reduce”操作之外,Spark还支持SQL查询、流式计算、机器学习和图算法...
来自: 阿里云 > 网站

除Hadoop大数据技术外,还需了解的九大技术

该技术提供了简单的编程模型,可用于批处理和流式数据的处理任务。该技术提供的数据流管理服务可控制数据处理作业的执行,数据处理作业可使用Data Flow SDK(Apache Beam)创建。Google Data Flow为数据相关的任务提供...
来自: 阿里云 > 网站

利用阿里云产品的数据备份与恢复实践

不限文件数目和大小,无限的存储空间根据实际存储量无限扩展,解决传统硬件存储扩容问题&支持流式写入和读出,特别适合视频等大文件的边写边读业务场景。支持数据生命周期管理,您可以方便自定义到期数据转入低成本...
来自: 阿里云 > 网站

除Hadoop大数据技术外,还需了解的九大技术

该技术提供了简单的编程模型,可用于批处理和流式数据的处理任务。该技术提供的数据流管理服务可控制数据处理作业的执行,数据处理作业可使用Data Flow SDK(Apache Beam)创建。Google Data Flow为数据相关的任务提供...
来自: 阿里云 > 网站

海量数据"写入、共享、存储、计算"最佳实践

数据是为业务服务的,业务方为了更加透彻的掌握业务本身或者使用该业务的群体,往往会收集,或者让应用埋点,收集更多的日志。随着用户量、用户活跃度的增长,时间的积累等,数据产生的速度越来越快,数据堆积的量...
来自: 阿里云 > 网站

《Spark大数据处理:技术、应用与性能优化》——导读

在随后的发展中,IBM、MapR、Hortonworks、微策略等公司纷纷将Spark融进现有解决方案,并加入Spark阵营。Spark在工业界的应用也呈星火燎原之势。随着Spark技术在国内的大范围落地、Spark中国峰会的召开,及各地...
来自: 阿里云 > 网站

数据库案例集锦-开发者的《如来神掌》

2、《facebook linkbench 测试PostgreSQL社交关系图谱场景性能》7 流式数据实时处理案例 1、《流计算风云再起- PostgreSQL携PipelineDB力挺IoT》2、《(流式、lambda、触发器)实时处理大比拼-物联网(IoT)\金融,时序...
来自: 阿里云 > 网站

把深度学习用于你已有的数据

对于已经使用SaaS(软件即服务)工具的公司,很多云服务商已经提供了支持深度学习的软硬件解决方案。像BigDl这样较新的工具已经出现了,针对特定的一些公司。这些公司喜欢的工具就是要能和流行的工具(比如Apache ...
来自: 阿里云 > 网站

数据翻页的难点和技巧

简单的解决方案是按时间远近将数据进行进一步分区,如图。[screenshot](https://yqfile.alicdn.com/ed01ab4053e59afe1803cc3fe88ac2dc204360e3.png) 注意在上图中使用时间方式sharding之后,在一个时间分区内,也...
来自: 阿里云 > 网站

阿里云数据库Greenplum版发布啦

OLTP+OLAP综合解决方案 用户现有Greenplum数据仓库可以通过原生的导出及导入方式将数据直接迁移到ApsaraDB for Greenplum实现云端数据仓库的OLAP在线分析使用。用户无需再进行复杂的Greenplum运维管理,同时阿里云为...
来自: 阿里云 > 网站

数据时代结构化存储云HBase技术架构及最佳实践

在10年,阿里研究HBase,是为了解决阿里容量及并发的实际问题,按照数据库要求,阿里深入HBase技术,并致力于保障稳定性和性能,目前已经有10000台规模,数百个集群,大约1亿的QPS,服务整个集团的业务。17年,把这...
来自: 阿里云 > 网站

阿里云计算能力实现多项突破 BigBench规模全球首次被...

MaxCompute+PAI,全球首次将规模拓展到100TB,达到7000 BBQpm,也是首个基于公共云服务的Benchmark。据介绍,大会结束后,MaxCompute会在公共云开放一个月的测试环境,并开源BigBench On MaxCompute+PAI的SDK(继承...
来自: 阿里云 > 网站

玩转大数据,你需要了解这8种项目类型!

应用性能解决方案,我们支持所有常见的Java 框架及应用服务器,助您快速发现系统瓶颈,定位异常根本原因。分钟级部署,即刻体验,Java 监控从来没有如此简单。想阅读更多技术文章,请访问OneAPM 官方技术博客。本文...
来自: 阿里云 > 网站

Spark大数据处理系列之Machine Learning

Spark框架,介绍如何使用Spark SQL库的SQL接口去访问数据,使用Spark Streaming进行实时流式数据处理和分析。在本篇文章,作者将讨论机器学习概念以及如何使用Spark MLlib来进行预测分析。后面将会使用一个例子展示...
来自: 阿里云 > 网站

Gitlab从删库到恢复-数据库备份\恢复\容灾\HA的靠谱...

《PostgreSQL 金融行业高可用和容灾解决方案》《ApsaraDB的左右互搏术-解决企业痛处 TP+AP混合需求》 另外还有一重需要注意的点,一定要有异地的备份,以及异地的容灾节点,这样才能抵御单一机房存在的故障隐患。...
来自: 阿里云 > 网站

接下时序数据存储的挑战书,阿里HiTSDB诞生了

阿里时序数据场景及解决方案演进历程 [image](https://yqfile.alicdn.com/7c784d7e325704a9d20e429f832e3c47d746c20f.png) 首先举个例子,阿里巴巴内部有一个系统叫鹰眼,这个系统实际上是做一个机器的,简单来说...
来自: 阿里云 > 网站

《Scala机器学习》一一2.5 数据驱动系统的基本组件

虽然它与前面几节提出的问题相关,但监控解决方案往往包含诊断和历史存储的解决方案,以及关键数据(如飞机上的黑匣子)的持久性。在Java和Scala中,一种流行的工具是Java性能bean,它可以在Java控制台中进行监视。...
来自: 阿里云 > 网站

开源大数据技术专场(上午):Spark、HBase、JStorm...

在这里,阿里也基于阿里巴巴/蚂蚁的环境和业务需求,对社区HBase进行深度定制与改进,从内核引擎、解决方案、稳定护航、发展支撑等全方位提供一站式大数据基础存储服务,就拿灾备体系来说,包括集群数据复制的诉求、...
来自: 阿里云 > 网站

《Scala机器学习》一一2.5 数据驱动系统的基本组件

虽然它与前面几节提出的问题相关,但监控解决方案往往包含诊断和历史存储的解决方案,以及关键数据(如飞机上的黑匣子)的持久性。在Java和Scala中,一种流行的工具是Java性能bean,它可以在Java控制台中进行监视。...
来自: 阿里云 > 网站

曾文旌的私房菜:开源数据库Greenplum Database的实现...

最后简单地总结一下:&GPDB的开源,在TP级别游刃有余,解决方案非常好,应用性较好,比Hadoop有着明显的优势;但是以后Hadoop也会朝着相同的方向发展。另一方面,MR和MPP的关系是相互学习,能够融合互相的优点。相当...
来自: 阿里云 > 网站

《Spark与Hadoop大数据分析》——导读

对于架构师:本书提供了一个完整生态系统的概述和一些大数据分析应用程序的示例,有助于构建大数据分析的解决方案。对于程序员:本书讲解了用 Scala 和 Python 语言构建大数据应用程序所使用的 API 和技术。对于大...
来自: 阿里云 > 网站

Android数据库Realm实践

当性能很重要时(数据访问频繁),GreenDao是一个很快的解决方案,它能够支持数千条记录的CRUD每秒,和OrmLite相比,GreenDAO要快几乎4.5倍。(准确数据请自行benchmark)。GreenDAO小于100KB,所以对于应用程序APK...
来自: 阿里云 > 网站

贷款、天使投资(风控助手)业务数据库设计-阿里云RDS ...

4、线上线下一体化 阿里云线上的数据,通过逻辑订阅、物理流式复制,可以将数据复制到线下数据库中。其中逻辑订阅支持表级订阅(每张表的订阅速度约3万行/s,指表在独立订阅通道时)。逻辑订阅还可以通过规则或触发...
来自: 阿里云 > 网站

Cluster|基于X-Paxos的高性能强一致MySQL数据

作为一个自运维的数据服务,X-Cluster自然要解决好这个问题。X-Cluster定义了Learner Source Group。每个Group是一个只读节点的容灾单元。当Group内某个一致性节点发生意外状况(宕机或者网络隔离)集群会根据...
来自: 阿里云 > 网站

透明计算产品来了

英特尔透明计算软件解决方案将计算机系统的计算资源和存储资源进行逻辑分离,利用流式执行,为用户提供可控的个性化云计算服务,具备强大的技术领先性。此次推出的透明计算系统产品广泛适用于办公、医疗、教育等市场...
来自: 阿里云 > 网站

2016阿里云93款产品全向图(6月制)

数据计算服务:是一种快速、完全托管的TB/PB级数据仓库解决方案。2.批量计算(公测中):是一种适用于大规模并行批处理作业的分布式云服务。3.数据集成(公测中):是阿里集团对外提供的稳定高效、弹性伸缩的数据...
来自: 阿里云 > 网站

【沉淀】实例迁移、Insert和写入性能——数倍,甚至数...

这个可以同时支持OLTP和OLAP,提供了10T到1P解决方案数据库,完善了阿里云RDS团队的产品族,具备了向专业评测机构Gartner定义的数据库魔力象限冲刺的能力。当前,HybridDB for MySQL在线上已经积累了600+DB机器,...
来自: 阿里云 > 网站

《Spark大数据处理:技术、应用与性能优化》——第1章...

Spark的一站式解决方案有很多的优势,具体如下。(1)打造全栈多计算范式的高效数据流水线 Spark支持复杂查询。在简单的“map”及“reduce”操作之外,Spark还支持SQL查询、流式计算、机器学习和图算法。同时,用户...
来自: 阿里云 > 网站

数加DataWorks/MaxCompute在国网浙江电力的最佳实践

数据处理层面:我们需要解决数据处理任务从慢到快的过程,增量过滤条件上推,全增量处理,规范源端时间标记,全链路维护时间戳,优化增量数据处理性能。3.& 数据服务:加强数据服务发布工具研发,优化数据使用体验,...
来自: 阿里云 > 网站

奔跑吧,大屏-时间+空间 实时四维数据透视

这些都有对应的解决方案。《流计算风云再起- PostgreSQL携PipelineDB力挺IoT》《时序数据库有哪些特点?TimescaleDB时序数据库介绍》 《ApsaraDB的左右互搏(PgSQL+HybridDB+OSS)-解决OLTP+OLAP混合需求》以指挥中心的...
来自: 阿里云 > 网站

分库分表的几种常见玩法及如何解决跨库查询等问题

这里不展开介绍,感兴趣的读者可以自行参考《分布式事务一致性解决方案》,链接地址:http://www.infoq.com/cn/articles/solution-of-distributed-system-transaction-consistency 垂直分库总结和实践建议 本篇中...
来自: 阿里云 > 网站

《Flume日志收集与MapReduce模式》一第1章 概览与架构

你真正需要的是能够处理流式日志/数据解决方案。并不是只有你才有这种需求。Cloudera(专业的Hadoop服务提供商,拥有自己的Hadoop分发版本)在与客户的协作过程中不断发现了这种需求。创建Flume的目的就在于满足...
来自: 阿里云 > 网站

PetaData·架构体系·PetaData第二代低成本存储体系

与ApsaraDB的其他关系型数据库产品不同,PetaData要解决高并发读写的问题,而读写一次数据,往往需要为外部运维、审计等功能成倍的放大读写请求,也会严重增请求的流量。第二代架构下,PetaData接入了万兆网络,更高...
来自: 阿里云 > 网站

PgSQL·应用案例·"写入、共享、存储、计算"最佳实践

背景 数据是为业务服务的,业务方为了更加透彻的掌握业务本身或者使用该业务的群体,往往会收集,或者让应用埋点,收集更多的日志。随着用户量、用户活跃度的增长,时间的积累等,数据产生的速度越来越快,数据堆积...
来自: 阿里云 > 网站

万亿user_tags级实时推荐系统数据库设计

为什么要在数据库中完成流式处理 我们知道,标签数据最后都要进到数据库后,才能施展数据库的圈人功能,完成圈人的查询,如果不在数据库中实现流计算,而是使用类似JSTROM的框架的话,实际上是使用JSTROM挡了一层,...
来自: 阿里云 > 网站

《Spring 5 官方文档》16.ORM和数据访问(一)

Spring为资源的配置管理提供了简单易用的解决方案,在JDBC上使用模板技术,在ORM上使用AOP拦截技术。Spring的基础设施提供了合适的资源处理,同时Spring引入了DAO层的异常体系,可以适用于任何数据访问策略。对于...
来自: 阿里云 > 网站

《阿里云周刊》第5期 MaxCompute 2.0重磅发布!

新闻[产品公告]...阿里云在物联网提供整体的解决方案,包括IoT套件、大数据分析两个场景,解决了数据上云和数据分析的各种问题,如设备入网安全、数据转发、实时分析、离线分析模型等一整套链路贯通的智能方案。
来自: 阿里云 > 网站
< 1 >
共有1页 跳转至: GO

你可能感兴趣

热门推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化