使用Databricks+Confluent进行实时数据采集入湖和分析【Databricks 数据洞察公开课】

使用Databricks+Confluent进行实时数据采集入湖和分析【Databricks 数据洞察公开课】

作者:李锦桂   阿里云开源大数据平台开发工程师本文将介绍使用 Python 脚本周期性地向 Kafka Brokers 发送数据,以模拟数据采集,数据发送频率约 1 万条/秒,并使用 DDI Spark Structured Streaming 连接 Kafka Brokers 消费采集...

使用 Databricks 进行营销效果归因分析的应用实践【Databricks 数据洞察公开课】

使用 Databricks 进行营销效果归因分析的应用实践【Databricks 数据洞察公开课】

作者:冯加亮   阿里云开源大数据平台技术工程师本文介绍如何使用Databricks进行广告效果归因分析,完成一站式的部署机器学习,包括数据ETL、数据校验、模型训练/评测/应用等全流程。内容要点:在当下的信息化时代,用户每天都会收到媒体投放的广告信息,如何做到精准广告投放,可以通过分析广...

Databricks数据洞察公开课

5 课时 |
54 人已学 |
免费
开发者课程背景图
使用Databricks+Mlflow进行机器学习模型的训练和部署【Databricks 数据洞察公开课】

使用Databricks+Mlflow进行机器学习模型的训练和部署【Databricks 数据洞察公开课】

作者:李锦桂 阿里云开源大数据平台开发工程师ML工作流的痛点机器学习工作流中存在诸多痛点:首先,很难对机器学习的实验进行追踪。机器学习算法中有大量可配置参数,在做机器学习实验时,很难追踪到哪些参数、哪个版本的代码以及哪个版本的数据会产生特定的结果。其次,机器学习实验的结果难以复现。没有标准的方式来打...

Delta Lake基础介绍(开源版)【Databricks 数据洞察公开课】

Delta Lake基础介绍(开源版)【Databricks 数据洞察公开课】

作者:王晓龙(筱龙),阿里云开源大数据平台技术专家一、Delta Lake背景回顾1. 大数据平台架构演进大数据平台经历了三种架构的演进:a.第一代:数仓架构支持的场景有限,不适用于高阶复杂的查询分析场景,比如data science和ML场景;scale-out扩展能力差。b.第二代:数据湖+数仓...

深度解析数据湖存储方案Lakehouse架构【Databricks 数据洞察公开课】

深度解析数据湖存储方案Lakehouse架构【Databricks 数据洞察公开课】

作者:张泊Databricks 软件工程师Lakehouse由lake和house两个词组合而成,其中lake代表Delta Lake(数据湖),house代表data warehouse(数据仓库)。因此,Lakehouse架构就是数据湖和数据仓库的结合。数据仓库和数据湖各自都存在着很多不足,而L...

Delta Lake的演进历史及现状【Databricks 数据洞察公开课】

Delta Lake的演进历史及现状【Databricks 数据洞察公开课】

作者:王晓龙 阿里云开源大数据平台技术专家一、Delta Lake介绍大数据平台架构发展至今,已经经历了三个阶段的技术演进:从最早的数仓,到数据湖+数仓的架构,再到最近两年的Lakehouse架构。最早的数仓架构是Schema-on-write的设计。如上图,数据首先由关系型数据库经过ETL导入数据...

使用Databricks进行零售业需求预测的应用实践【Databricks 数据洞察公开课】

使用Databricks进行零售业需求预测的应用实践【Databricks 数据洞察公开课】

作者:李锦桂 阿里云开源大数据平台开发工程师本文从零售业需求预测痛点、商店商品模型预测的实践演示,介绍Databricks如何助力零售商进行需求、库存预测,实现成本把控和营收增长。本文分为以下四部分:1.消费者需求预测对零售业的重要性2.数据的准备与可视化3.基于DDI建立预测单个商店-商品模型4....

如何使用Delta Lake构建批流一体数据仓库【Databricks 数据洞察公开课】

如何使用Delta Lake构建批流一体数据仓库【Databricks 数据洞察公开课】

作者:李元健,Deltabricks软件工程师冯加亮,阿里云开源大数据平台技术工程师Delta Lake是一个开源存储层,它为数据湖带来了可靠性。Delta Lake提供了ACID事务、可扩展的元数据处理,并统一了流式处理和批处理数据处理。Delta-Lake运行在现有数据湖之上,并且与Apache...

Delta Lake基础介绍(商业版)【Databricks 数据洞察公开课】

Delta Lake基础介绍(商业版)【Databricks 数据洞察公开课】

作者:李洁杏,Databrick资深软件工程师一、Lakehouse搜索引擎设计背景1. 数据仓库和Lakehouse数据管理系统从早期的数据仓库(Data Warehouse),已经发展到今天的Lakehouse。Lakehouse可以同时存储结构化、半结构化和非结构化数据,并且支持流分析、BI、...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

相关电子书
更多
Databricks数据洞察:从入门到实践
立即下载

Databricks 数据洞察公开课相关内容