从技术视角看大数据行业的发展趋势

从技术视角看大数据行业的发展趋势

前言大家好,我是明哥!正所谓 “抬头看天,低头走路”,大数据从业者既要脚踏实地立足当前技术栈做出高效易用的大数据产品,又要仰望星空顺应大数据的发展趋势,做出有技术前瞻性能适应未来变化的大数据产品。明哥前期发布了一篇名为 “从历年 Gartner hype cycle 看大数据行业的发展历史和趋势” ...

【小白视角】大数据基础实践(七) Spark的基本操作

【小白视角】大数据基础实践(七) Spark的基本操作

目录1. Spark概述1.1 背景1.2 特点1.3 使用趋势2. Spark生态系统2.1 Spark与Hadoop的对比。2.2 Job2.3 容错率2.4 通用性2.5 实际应用2.6 Spark生态系统组件的应用场景2.7 Spark组件2.7.1 Spark Core2.7.2 Spar...

阿里云大数据工程师ACA认证(2023版)

21 课时 |
807 人已学 |
免费

基于MaxCompute的热门话题分析

8 课时 |
329 人已学 |
免费

独家揭秘当下大数据体系

4 课时 |
331 人已学 |
免费
开发者课程背景图
【小白视角】大数据基础实践(四) 分布式数据库HBase的常用操作

【小白视角】大数据基础实践(四) 分布式数据库HBase的常用操作

目录1. 环境配置2. 操作步骤:2.1 环境搭建2.2 Hbase Shell2.3 Java Api3. 结论最后1. 环境配置⚫ 操作系统:Linux(建议 Ubuntu18.04);⚫ Hadoop 版本:3.1.3;⚫ JDK 版本:1.8;⚫ Java IDE...

【小白视角】大数据基础实践(三)HDFS的简单基本操作

【小白视角】大数据基础实践(三)HDFS的简单基本操作

HDFS的简单基本操作1. 实验环境2. HDFS2.1 简介2.2 体系结构2.2.1 NameNode2.2.2 SecondaryNameNode2.2.3 DataNode2.2.4 通讯协议2.2.5 局限性3. 利用Shell命令HDFS进行交互3.1 概要3.2 目录操作3.3 文件操...

【小白视角】大数据基础实践(二)Hadoop环境搭建与测试

【小白视角】大数据基础实践(二)Hadoop环境搭建与测试

Hadoop环境的搭建与测试1.简介实验环境1.1基础知识1.2 特点1.3 生态系统1.3.1 HDFS1.3.2 YARN1.3.3 MapReduce1.3.4 Zookeeper1.3.5 HBase1.3.6 Hive1.3.7 Pig1.3.8 Mahout1.3.9 Sqoop1.3....

【小白视角】大数据基础实践(一)搭建Hadoop集群

【小白视角】大数据基础实践(一)搭建Hadoop集群

大数据实践第一篇,面向小白编程搭建Hadoop集群大数据实践第一篇,面向小白编程Ubuntu的操作1.下载文件1.1下载ubuntu镜像文件1.2 下载及安装VMware1.3在VMware安装Ubuntu1.4安装VMware Tools工具2.安装必要配置2.1换源2.2 安装vim2.3 安装...

大数据小视角4:小议Lambda 与 Kappa 架构,不可变数据的计算探索

这个系列文章之前因为私事荒废了很久,继续更新~~之前与老大谈论架构时,老大和我聊了聊分布式数据处理之中的Lambda结构,之前在《Designing Data-Intensive Applications》这本书之中,作者 Martin Kleppmann也在文中涉及到了通过重型批处理与灵活的流处理...

LC3|视角 开源大数据生态下的高性能分布式文件系统

背景介绍 盘古是阿里云自主研发的高可靠、高可用、高性能分布式文件系统,距今已经有将近10年的历史。盘古1.0作为阿里云的统一存储核心,稳定高效的支撑着阿里云ECS、NAS、OSS、OTS、ODPS、ADS等多条业务线的迅猛发展。但最近几年,基于如下两方面的原因,盘古还是重新设计实现了第二代存储引擎盘...

大数据小视角2:ORCFile与Parquet,开源圈背后的生意

上一篇文章聊了聊基于PAX的混合存储结构的RCFile,其实这里笔者还了解一些八卦,RCfile的主力团队都是来自中科院的童鞋在Facebook完成的,算是一个由华人主导的编码项目。但是RCfile仍然存在一些缺陷,后续被HortonWorks盯上之后上马了ORCFile格式,而老对头Clouder...

北京大学软件研究所副所长黄罡:大数据视角下的API经济

今天我来跟大家分享的是,邬院士上午讲的都是以数据集为核心的大数据的共享开放流通交易里面产生的种种弊端,但是其实我们放眼看世界,以美国为代表的数据开放流通共享交易几乎不是以数据集为核心,而是以API,也就是应用编程接口。今天我希望从大数据视角下,尤其是邬院士讲了开放流通共享领域的问题,我们看API经济...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

阿里巴巴大数据计算
阿里巴巴大数据计算
阿里大数据官方技术圈
347745+人已加入
加入
相关电子书
更多
2023云栖大会:Lindorm一站式车联网数据平台
2023云栖大会:Lindorm一站式AI数据平台实战
开源大数据产品年度发布
立即下载 立即下载 立即下载