云原生大数据计算服务 MaxCompute技术在线教育的相关内容

文章 2023-07-07 来自：开发者社区

基于大数据技术的开源在线教育项目三2

实时统计学员播放视频各时长用户在线播放视频进行学习课程，后台记录视频播放开始区间和结束区间，及播放开始时间和播放结束时间，后台手机数据传输kafka需要计算用户播放视频总时长、有效时长、完成时长，及各维度总播放时长。需求1：计算各章节下的播放总时长(按chapterid聚合统计播放总时长)需求2：计算各课件下的播放总时长(按cwareid聚合统计播放总时长)需求3：计算各辅导下的播放总时长(按e....

文章 2023-07-07 来自：开发者社区

基于大数据技术的开源在线教育项目三1

上篇文章我们介绍了离线数仓的做题模块，本文我们来看下在线教育项目的实时部分。本文代码可在开源项目https://github.com/SoundHearer/kuaiban中找到。实时部分的架构图如下原始数据格式及对应的topic实时统计注册人数topic：register_topic数据格式用户ID平台ID 1:PC 2:APP 3:Others创建时间8557112019-07-16 16:....

文章 2023-07-07 来自：开发者社区

基于大数据技术的开源在线教育项目二2

创建DwdControllerimport com.catelf.qz.service.EtlDataService import com.catelf.util.HiveUtil import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession /** * 解析做题数据导入dwd层 */ object Dw...

文章 2023-07-07 来自：开发者社区

基于大数据技术的开源在线教育项目二1

上篇文章我们介绍了离线数仓的用户注册模块，本文我们来介绍做题模块模拟日志的数据格式如下，详细请参见我的开源项目 https://github.com/SoundHearer/kuaiban1.QzWebsite.log 做题网站日志数据 { "createtime": "2019-07-22 11:47:18", //创建时间 "creator": "admin", //创...

文章 2023-07-07 来自：开发者社区

基于大数据技术的开源在线教育项目

毫无疑问最近几年是在线教育和内容付费的风口期，尤其是今年，大量做教育的公司都获得数额不小的投资。我们不是要去追这个风口，而是因为在线教育的成熟，开始产生巨量有价值的数据，率先采用和融合大数据和AI技术的公司，必将强力推动公司的发展，从而转型成为科技公司。本文代码可以在github找到https://github.com/SoundHearer/kuaiban离线数仓流程图我们的离线数仓目前完成了....