文章 2020-05-28 来自:开发者社区

Maxcompute Spark 访问 阿里云 Hbase

引子 本来这个东西是没啥好写的,但是在帮客户解决问题的时候,发现链路太长,不能怪客户弄不出来,记录一下 需求列表 MaxCompute Spark包 (写文章时刻为版本 0.32.1, 请自行更新,本文不是文档) Spark 配置 spark.hadoop.odps.project.name = <安全信息> spark.hadoop.odps.access.id = <...

Maxcompute Spark 访问 阿里云 Hbase
文章 2020-05-27 来自:开发者社区

如何使用MaxCompute Spark读写阿里云Hbase

背景 Spark on MaxCompute可以访问位于阿里云VPC内的实例(例如ECS、HBase、RDS),默认MaxCompute底层网络和外网是隔离的,Spark on MaxCompute提供了一种方案通过配置spark.hadoop.odps.cupid.vpc.domain.list来访问阿里云的vpc网络环境的Hbase。Hbase标准版和增强版的配置不同,本文通过访问阿里云的标....

如何使用MaxCompute Spark读写阿里云Hbase
文章 2019-09-24 来自:开发者社区

1元包年,阿里云HBase Serverless开启大数据学习与测试的新时代

用户福利 限时获取云数据库HBase一年仅需1元的使用权,广大HBase用户学习、测试必备,更多内容请参考链接。 文末有技术交流群,也欢迎添加。 前言 想学习HBase,环境部署太累?想学习HBase,集群架构太贵?想学习HBase,遇到问题太难?想测试HBase,环境等待太慢?想测试HBase,资源空闲太费?想测试HBase,峰值预估太慌? 开箱即用、超低价格、极限弹性,阿里云HBase上线S....

1元包年,阿里云HBase Serverless开启大数据学习与测试的新时代
文章 2019-07-09 来自:开发者社区

免费报名 | 汇聚HBase&大数据最前沿 Apache HBaseConAsia2019盛会火热来袭

Apache HBase介绍 Apache HBase是基于Apache Hadoop构建的一个高可靠性、高性能、可伸缩的分布式存储系统,它提供了大数据背景下的高性能的随机读写能力,HBase是Google Big table的开源实现,通过在廉价PC Server上搭建起大规模结构化存储集群,可为众多企业从软件系统、解决方案、稳定护航、发展支撑等全方位提供一站式大数据基础存储服务。 HBas.....

文章 2019-05-14 来自:开发者社区

基于阿里云HBase产品的游戏大数据实践

大数据架构 我们团队大数据方案主要参考阿里巴巴大数据方案并结合自身特点量身定做,像阿里巴巴大数据体系架构一样也分四层,只是内容有所简化和差异。其实多数大数据架构方案都略同,只是在细节上有所差异。 数据采集层:数据来源有两种——客户端埋点日志和服务端请求处理日志。最终这些日志都是以日志聚合的形式,经过消息队列中间件缓存,最终汇总到数据湖。 数据计算层:市面上有多种离线和实时计算引擎,从技术生态成.....

问答 2018-12-24 来自:开发者社区

ODPS到数据到hbase乱码问题

odps提供自定义writer,到数据到hbase后,读取数据出现乱码,只有原来是正常string的能正常显示

文章 2018-08-17 来自:开发者社区

HBaseCon亚洲2018峰会盛大开幕 阿里带你洞悉HBase大数据生态最新发展和行业实践

8月17日,HBaseCon亚洲2018峰会在北京歌华开元大酒店盛大开幕。作为Apache基金会旗下HBase社区的顶级用户峰会,HBaseCon大会是Apache HBase™官方从2012年开始发起和延续至今的技术会议,先后在美国加州、日本东京和中国深圳等地举办,得到了Google、Facebook、雅虎和阿里巴巴等众多全球顶级互联网公司大力支持。作为国内的主要社区贡献者,阿里巴巴此次联合小....

文章 2018-03-29 来自:开发者社区

大数据分布式架构单点故障详解(Hdfs+Yarn+HBase+Spark+Storm)构建HA高可用架构

本文来源于公众号【胖滚猪学编程】,转载请注明出处。 本文整合梳理了主流大数据生态圈中的组件:Hdfs+Yarn+HBase+Spark+Storm的单点故障问题的解决方案:构建HA(High Available)高可用架构。阅读本文之前,最好需要了解清楚各组件的架构原理。 单点故障的出现原因 首先一张图来了解下这些组件的架构: 我们可以发现:它们的共同特点就是都是主从结构。HDFS中的NameN....

大数据分布式架构单点故障详解(Hdfs+Yarn+HBase+Spark+Storm)构建HA高可用架构
文章 2018-03-22 来自:开发者社区

大数据_学习_01_Hadoop 2.x及hbase常用端口及查看方法

      二、参考资料 1.Hadoop 2.x常用端口及查看方法

文章 2017-11-20 来自:开发者社区

大数据之 ZooKeeper原理及其在Hadoop和HBase中的应用

ZooKeeper是一个开源的分布式协调服务,由雅虎创建,是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。 简介 ZooKeeper是一个开源的分布式协调服务,由雅虎创建,是Google Chubby的开源实现。分布式应用程序可以...

大数据之 ZooKeeper原理及其在Hadoop和HBase中的应用

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

云原生大数据计算服务 MaxCompute您可能感兴趣

产品推荐

大数据计算 MaxCompute

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

+关注