文章 2023-03-24 来自:开发者社区

【大数据开发运维解决方案】hadoop+kylin安装及官方cube/steam cube案例文档

对于hadoop+kylin的安装过程在上一篇文章已经详细的写了,请读者先看完上一篇文章再看本本篇文章,本文主要大致介绍kylin官官方提供的常规批量cube创建和kafka+kylin流式构建cube(steam cube)的操作过程,具体详细过程请看官方文档。1、常规cube创建案例[root@hadoop ~]# cd /hadoop/kylin/bin/ [root@hadoop bin....

【大数据开发运维解决方案】hadoop+kylin安装及官方cube/steam cube案例文档
文章 2023-03-24 来自:开发者社区

【大数据开发运维解决方案】Hadoop2.7.6+Spark单机伪分布式安装

一、安装spark依赖的Scala1.1 下载和解压缩Scala下载地址:点此下载或则直接去官网挑选下载:官网连接在Linux服务器的opt目录下新建一个名为scala的文件夹,并将下载的压缩包上载上去:[root@hadoop opt]# cd /usr/ [root@hadoop usr]# mkdir scala [root@hadoop usr]# cd scala/ [root@had....

【大数据开发运维解决方案】Hadoop2.7.6+Spark单机伪分布式安装
文章 2023-03-24 来自:开发者社区

【大数据开发运维解决方案】Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机伪分布式安装

Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机伪分布式安装注意1、本文档使用的基础hadoop环境是基于本人写的另一篇文章的基础上新增的spark和hudi的安装部署文档,基础环境部署文档2、整篇文章配置相对简单,走了一些坑,没有写在文档里,为了像我一样的小白看我的文档,按着错误的路径走了,文章整体写的较为详细,按照文章整体过程来做应该不会出错,如....

【大数据开发运维解决方案】Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机伪分布式安装
文章 2023-03-24 来自:开发者社区

【大数据开发运维解决方案】sqoop1.4.7的安装及使用(hadoop2.7环境)

一、sqoop简介Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。二、环境配置三、安装Sqoop1. 下载,解压到指定目录下载连接:点此下载创....

【大数据开发运维解决方案】sqoop1.4.7的安装及使用(hadoop2.7环境)
文章 2023-03-24 来自:开发者社区

【大数据开发运维解决方案】hadoop fs常用命令案例解释

前言本文主要介绍一下 hadoop fs 常用得命令参数选项,用案例做一下测试,给自己和大家一个例子介绍!一、hadoop fs常用命令参数列表我们可以通过hadoop fs看一下目前有哪些命令可以使用:[root@s133062 ~]# hadoop fs Usage: hadoop fs [generic options] [-appendToFile <localsrc>...

【大数据开发运维解决方案】hadoop fs常用命令案例解释
文章 2019-05-20 来自:开发者社区

大数据平台解决方案,Hadoop + HDFS+Hive+Hbase大数据开发整体架构设计

波若大数据平台Hadoop + HDFS+Hive+Hbase大数据开发工具剖析: HDFS:分布式、高度容错性文件系统,能提供高吞吐量的数据访问,非常适合大规模数据集上的应用,大规模的波若大数据平台(BR-odp)用户部署上1000台的HDFS集群。数据规模高达50PB以上 HDFS和MR共同组成Hadoop分布式系统体系结构的核心。HDFS在集群上实现了分布式文件系统,MR在集群上实现了分布....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

大数据

大数据计算实践乐园,近距离学习前沿技术

+关注