Apache数据分析的相关内容

文章 2024-11-03 来自：开发者社区

Apache Kafka流处理实战：构建实时数据分析应用

在当今这个数据爆炸的时代，能够快速准确地处理实时数据变得尤为重要。无论是金融交易监控、网络行为分析还是物联网设备的数据收集，实时数据处理技术都是不可或缺的一部分。Apache Kafka作为一款高性能的消息队列系统，不仅支持传统的消息传递模式，还提供了强大的流处理能力，能够帮助开发者构建高效、可扩展的实时数据分析应用。一、K...

文章 2024-10-18 来自：开发者社区

Apache Paimon 是一款高性能的数据湖框架，支持流式和批处理，适用于实时数据分析

随着数据湖技术的不断发展，越来越多的企业开始探索如何利用这一新兴技术来优化数据处理流程。Apache Paimon 是一款高性能的数据湖框架，它支持流式处理和批处理，能够为实时数据分析提供强大的支持。本文将分享巴别时代在构建基于 Apache Paimon 的 Streaming Lakehouse 方面的一些探索和实践经验。 Apache Paimon...

文章 2024-03-07 来自：开发者社区

Grab 基于 Apache Hudi 实现近乎实时的数据分析

介绍在数据处理领域，数据分析师在数据湖上运行其即席查询。数据湖充当分析和生产环境之间的接口，可防止下游查询影响上游数据引入管道。为了确保数据湖中的数据处理效率，选择合适的存储格式至关重要。 Vanilla数据湖解决方案构建在具有 Hive 元存储的云对象存储之上，其中数据文件以 Parquet 格式编写。尽管此设置针对可缩放的分析查询模式进行了优化，但由于两个原因，它难以处理对...

文章 2023-12-27 来自：开发者社区

带你读《Apache Doris 案例集》——06 Apache Doris 助力中国联通万亿日志数据分析提速10倍（1）

作者：联通西部创新研究院大数据开发工程师，刘宇麒、贾涛导读：在数据安全管理体系的背后，离不开对安全日志数据的存储与分析。以终端设备为例，中国联通每天会产生百亿级别的日志数据，对于保障网络安全、提高系统稳定性和可靠性具有至关重要的作用。目前，Apache Doris 在联通体系的落地已支持了30多条业务线和数百个实时作业，不仅帮助联通实现了万亿级安全日志的高效分析和低成本，也为其他运营....

文章 2023-12-27 来自：开发者社区

带你读《Apache Doris 案例集》——06 Apache Doris 助力中国联通万亿日志数据分析提速10倍（2）

更多精彩内容，欢迎观看：带你读《Apache Doris 案例集》——06 Apache Doris 助力中国联通万亿日志数据分析提速10倍（1）：https://developer.aliyun.com/article/1405720基于Doris 的实时数据仓库在项目二期的建设中，我们使用 Apache Doris替换了 Hi....

文章 2023-08-16 来自：开发者社区

Apache Doris 助力中国联通万亿日志数据分析提速 10 倍

本文导读：在数据安全管理体系的背后，离不开对安全日志数据的存储与分析。以终端设备为例，中国联通每天会产生百亿级别的日志数据，对于保障网络安全、提高系统稳定性和可靠性具有至关重要的作用。目前，Apache Doris 在联通体系的落地已支持了 30 多条业务线和数百个实时作业，不仅帮助联通实现了万亿级安全日志的高...

文章 2023-05-25 来自：开发者社区

《Apache Flink 案例集（2022版）》——2.数据分析——网易互娱-基于Flink 的支付环境全关联分析实践（上）

作者：林佳用户背景网易2001年正式成立在线游戏事业部，与广大游戏热爱者一同成长。经过近20年的快速发展，网易游戏（互娱）已跻身全球七大游戏公司之一。作为中国领先的游戏开发公司，网易互娱一直处于网络游戏自主研发领域的前端。业务需求说到网易互娱，大家首先想到的肯定是游戏。作为网易的核心业务线之一，让游戏业务可以稳定可靠地运行自然是重中之重，而游戏业务中最重要就是 APP 内购买服务的可靠性。....

文章 2023-05-25 来自：开发者社区

《Apache Flink 案例集（2022版）》——2.数据分析——网易互娱-基于Flink 的支付环境全关联分析实践（下）

《Apache Flink 案例集（2022版）》——2.数据分析——网易互娱-基于Flink 的支付环境全关联分析实践（上） https://developer.aliyun.com/article/1228390平台建设经过深刻的调研和尝试之后，网易互娱最终选择了 Flink作为业务实时化的框架，并基于Flink搭建实时计算的一站式平台。上图是平台的技术架构图，它配套了 Nexus、HDF....

文章 2023-05-25 来自：开发者社区

《Apache Flink 案例集（2022版）》——2.数据分析——快手-Flink SQL 在快手的扩展和实践（1）

作者：张静、张芒用户背景快手作为领先的内容社区及社交平台，其使命是成为全球最痴迷于为客户创造价值的公司，快手提供的产品和服务可满足用户自然产生的各种需求，包括娱乐、线上营销服务、电商、网络游戏、在线知识共享等。平台现状快手从2018年开始对Flink进行深度整合，经过4年发展，实时计算平台逐渐完善并赋能周边各种组件。 2018 年针对 Flink 1.4 进行了平台化建设并大幅提....

文章 2023-05-25 来自：开发者社区

《Apache Flink 案例集（2022版）》——2.数据分析——快手-Flink SQL 在快手的扩展和实践（2）

《Apache Flink 案例集（2022版）》——2.数据分析——快手-Flink SQL 在快手的扩展和实践（1） https://developer.aliyun.com/article/1228373生产实践一、功能扩展为了支持内部的业务需求，快手做了很多功能扩展，其中两个围绕窗口的扩展尤为重要：一个是 Group Window Aggregate 扩展，一个是在 Flip-145 ....

共有29条

< 1 2 3 >

跳转至： GO

更新时间 2024-11-04 08:38:40

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

Apache您可能感兴趣

产品推荐

{"optioninfo":{"dynamic":"ture","static":"true"},"simplifiedDisplay":"newEdition","newCard":[{"ifIcon":"img","link":"https://www.aliyun.com/product/selectdb","icon":"云数据库 SelectDB 版","iconImg":"https://img.alicdn.com/imgextra/i4/O1CN01HTbnvZ1zYYlhbjXKj_!!6000000006726-0-tps-200-200.jpg","contentLink":"https://www.aliyun.com/product/selectdb","title":"云数据库 SelectDB 版","des":" 阿里云全托管 SelectDB 实时数仓服务，100%兼容 Apache Doris。广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，为客户提供极致性能、简单易用的数据分析服务。","link1":"https://common-buy.aliyun.com/?commodityCode=selectdb_pre_public_cn","btn1":"立即购买","link2":"https://help.aliyun.com/product/2503500.html","btn2":"产品文档","btn3":"管理控制台","link3":"https://selectdb.console.aliyun.com/cn-hangzhou/basic-list","infoGroup":[{"infoName":"热门活动","infoContent":{"firstContentLink":"https://www.aliyun.com/activity/database/bestoffers","firstContentName":"新用户首月享0.5折","lastContentName":"","lastContentLink":""}},{"infoName":"快速入门","infoContent":{"firstContentName":"实例连接","firstContentLink":"https://help.aliyun.com/document_detail/2504486.html","lastContentName":"集群启停","lastContentLink":"https://help.aliyun.com/document_detail/2504481.htm"}},{"infoName":"最新动态","infoContent":{"firstContentName":" 3.0版发布 ","firstContentLink":"https://help.aliyun.com/document_detail/2504504.html","lastContentName":"2.4版发布","lastContentLink":"https://help.aliyun.com/document_detail/2504504.html?#8c23772040k3g"}},{"infoName":"热门产品","infoContent":{"firstContentName":"云数据库ClickHouse 版","firstContentLink":"https://www.aliyun.com/product/apsaradb/clickhouse"}}]}],"card":[],"search":[],"infoCard":[{"bannerUrl":"https://img.alicdn.com/tfs/TB1Xf81a3gP7K4jSZFqXXamhVXa-5169-974.jpg","bannerTitle":"mPaaS 小程序","bannerContent":"源自于支付宝小程序框架，亿级线上业务体量的锤炼，安全性媲美支付宝原生能力。<br>不仅面向自有 App 投放小程序，更可快速构建打包，覆盖支付宝、淘宝、钉钉等应用。","liveButtonName":"查看详情","liveButtonLink":"https://www.aliyun.com/product/mobilepaas/mpaas-miniprogram","contentTitle":"提供即开即用的端上体验","homePageLink":"https://common-buy.aliyun.com/?spm=5176.14673561.J_8751524360.2.56702709BussF3&commodityCode=mpaas_beta#/open","homePageName":"免费试用","linkGroup":[{"linkContent":"发布包大小极致优化，节省流量和存储。"},{"linkContent":"服务迭代不再受发版限制，快速发布，快速迭代。"},{"linkContent":"业务开发效率更加优秀，一次开发，多端运行。"}]}],"title":{"mainTitle":"","subtitle":"","linkUrl":"https://www.aliyun.com/product/selectdb","btnText":"查看详情"},"visual":{"topbg":"https://img.alicdn.com/tfs/TB1bQuBIYH1gK0jSZFwXXc7aXXa-3840-740.gif","icon":"","textColor":"dark"},"dataList":[{"summary":"阿里云数据库 SelectDB 版内核 Apache Doris 2.0 如何实现导入性能提升 2-8 倍","author":"selectdb技术","linksUrl":"https://developer.aliyun.com/article/1323178"},{"summary":"Apache Doris 巨大飞跃：存算分离新架构","author":"selectdb技术","linksUrl":"https://developer.aliyun.com/article/1308283"}],"sceneCard":[],"txt":[]}

{"$env":{"JSON":{}},"$page":{"env":"production"},"$context":{"optioninfo":{"dynamic":"ture","static":"true"},"simplifiedDisplay":"newEdition","newCard":[{"ifIcon":"img","link":"https://www.aliyun.com/product/selectdb","icon":"云数据库 SelectDB 版","iconImg":"https://img.alicdn.com/imgextra/i4/O1CN01HTbnvZ1zYYlhbjXKj_!!6000000006726-0-tps-200-200.jpg","contentLink":"https://www.aliyun.com/product/selectdb","title":"云数据库 SelectDB 版","des":" 阿里云全托管 SelectDB 实时数仓服务，100%兼容 Apache Doris。广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，为客户提供极致性能、简单易用的数据分析服务。","link1":"https://common-buy.aliyun.com/?commodityCode=selectdb_pre_public_cn","btn1":"立即购买","link2":"https://help.aliyun.com/product/2503500.html","btn2":"产品文档","btn3":"管理控制台","link3":"https://selectdb.console.aliyun.com/cn-hangzhou/basic-list","infoGroup":[{"infoName":"热门活动","infoContent":{"firstContentLink":"https://www.aliyun.com/activity/database/bestoffers","firstContentName":"新用户首月享0.5折","lastContentName":"","lastContentLink":""}},{"infoName":"快速入门","infoContent":{"firstContentName":"实例连接","firstContentLink":"https://help.aliyun.com/document_detail/2504486.html","lastContentName":"集群启停","lastContentLink":"https://help.aliyun.com/document_detail/2504481.htm"}},{"infoName":"最新动态","infoContent":{"firstContentName":" 3.0版发布 ","firstContentLink":"https://help.aliyun.com/document_detail/2504504.html","lastContentName":"2.4版发布","lastContentLink":"https://help.aliyun.com/document_detail/2504504.html?#8c23772040k3g"}},{"infoName":"热门产品","infoContent":{"firstContentName":"云数据库ClickHouse 版","firstContentLink":"https://www.aliyun.com/product/apsaradb/clickhouse"}}]}],"card":[],"search":[],"infoCard":[{"bannerUrl":"https://img.alicdn.com/tfs/TB1Xf81a3gP7K4jSZFqXXamhVXa-5169-974.jpg","bannerTitle":"mPaaS 小程序","bannerContent":"源自于支付宝小程序框架，亿级线上业务体量的锤炼，安全性媲美支付宝原生能力。<br>不仅面向自有 App 投放小程序，更可快速构建打包，覆盖支付宝、淘宝、钉钉等应用。","liveButtonName":"查看详情","liveButtonLink":"https://www.aliyun.com/product/mobilepaas/mpaas-miniprogram","contentTitle":"提供即开即用的端上体验","homePageLink":"https://common-buy.aliyun.com/?spm=5176.14673561.J_8751524360.2.56702709BussF3&commodityCode=mpaas_beta#/open","homePageName":"免费试用","linkGroup":[{"linkContent":"发布包大小极致优化，节省流量和存储。"},{"linkContent":"服务迭代不再受发版限制，快速发布，快速迭代。"},{"linkContent":"业务开发效率更加优秀，一次开发，多端运行。"}]}],"title":{"mainTitle":"","subtitle":"","linkUrl":"https://www.aliyun.com/product/selectdb","btnText":"查看详情"},"visual":{"topbg":"https://img.alicdn.com/tfs/TB1bQuBIYH1gK0jSZFwXXc7aXXa-3840-740.gif","icon":"","textColor":"dark"},"dataList":[{"summary":"阿里云数据库 SelectDB 版内核 Apache Doris 2.0 如何实现导入性能提升 2-8 倍","author":"selectdb技术","linksUrl":"https://developer.aliyun.com/article/1323178"},{"summary":"Apache Doris 巨大飞跃：存算分离新架构","author":"selectdb技术","linksUrl":"https://developer.aliyun.com/article/1308283"}],"sceneCard":[],"txt":[]}}

云数据库 SelectDB 版

阿里云全托管 SelectDB 实时数仓服务，100%兼容 Apache Doris。广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，为客户提供极致性能、简单易用的数据分析服务。

立即购买

产品文档

管理控制台

热门活动

新用户首月享0.5折

快速入门

实例连接

集群启停