云原生大数据计算服务 MaxCompute技术项目的相关内容

文章 2023-07-07 来自：开发者社区

基于大数据技术的开源在线教育项目三2

实时统计学员播放视频各时长用户在线播放视频进行学习课程，后台记录视频播放开始区间和结束区间，及播放开始时间和播放结束时间，后台手机数据传输kafka需要计算用户播放视频总时长、有效时长、完成时长，及各维度总播放时长。需求1：计算各章节下的播放总时长(按chapterid聚合统计播放总时长)需求2：计算各课件下的播放总时长(按cwareid聚合统计播放总时长)需求3：计算各辅导下的播放总时长(按e....

文章 2023-07-07 来自：开发者社区

基于大数据技术的开源在线教育项目三1

上篇文章我们介绍了离线数仓的做题模块，本文我们来看下在线教育项目的实时部分。本文代码可在开源项目https://github.com/SoundHearer/kuaiban中找到。实时部分的架构图如下原始数据格式及对应的topic实时统计注册人数topic：register_topic数据格式用户ID平台ID 1:PC 2:APP 3:Others创建时间8557112019-07-16 16:....

文章 2023-07-07 来自：开发者社区

基于大数据技术的开源在线教育项目二2

创建DwdControllerimport com.catelf.qz.service.EtlDataService import com.catelf.util.HiveUtil import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession /** * 解析做题数据导入dwd层 */ object Dw...

文章 2023-07-07 来自：开发者社区

基于大数据技术的开源在线教育项目二1

上篇文章我们介绍了离线数仓的用户注册模块，本文我们来介绍做题模块模拟日志的数据格式如下，详细请参见我的开源项目 https://github.com/SoundHearer/kuaiban1.QzWebsite.log 做题网站日志数据 { "createtime": "2019-07-22 11:47:18", //创建时间 "creator": "admin", //创...

文章 2023-07-07 来自：开发者社区

基于大数据技术的开源在线教育项目

毫无疑问最近几年是在线教育和内容付费的风口期，尤其是今年，大量做教育的公司都获得数额不小的投资。我们不是要去追这个风口，而是因为在线教育的成熟，开始产生巨量有价值的数据，率先采用和融合大数据和AI技术的公司，必将强力推动公司的发展，从而转型成为科技公司。本文代码可以在github找到https://github.com/SoundHearer/kuaiban离线数仓流程图我们的离线数仓目前完成了....

文章 2017-08-01 来自：开发者社区

这5种必知的大数据处理框架技术，你的项目应该使用哪种？

大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中.....

文章 2017-08-01 来自：开发者社区

这5种必知的大数据处理框架技术，你的项目应该使用哪种？

本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信息和见解的过程。下文将介绍这些框架：仅批处理框架： Apache Hadoop 仅流处理框架： Apache Storm Apache Samza 混合框架： Apache Spark Apache Fli....

文章 2017-08-01 来自：开发者社区

这5种必知的大数据处理框架技术，你的项目到底应该使用其中的哪几种

文章 2017-07-10 来自：开发者社区

这5种必知的大数据处理框架技术，你的项目应该使用哪种？

本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信息和见解的过程。本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信息.....