文章 2025-01-21 来自:开发者社区

金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践

导读:中信银行信用卡中心每日新增日志数据 140 亿条(80TB),全量归档日志量超 40PB,早期基于 Elasticsearch 构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch,实现资源投入降低 50%、查询速度提升 2~4 倍,同时显著提高了运维效率。 本文转录自陈地长(中信信用.....

金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
文章 2022-02-17 来自:开发者社区

PB级日志数据实时加工原理与实践

引文本文是参加 2021 K+全球软件研发行业创新峰会 专题分享后的一些总结。同时也学习了其他多个专题分享,总体感觉是整个大会的分享专题覆盖面特别广,专业度都很高。此次大会的所有专题简介可参考 K+专题列表。先做下自我介绍,本人目前就职于阿里云 SLS 团队,负责 SLS 数据加工服务研发工作,服务阿里云上客户的海量日志处理。对机器数据处理场景痛点、核心技术和架构有深刻理解。当前主要关注实时计算....

PB级日志数据实时加工原理与实践
文章 2022-02-17 来自:开发者社区

阿里云 PB 级 Kubernetes 日志平台建设实践

前言阿里云日志服务是阿里集团针对日志分析、处理的自研产品。Kubernetes 近两年来发展十分迅速,已经成为容器编排领域的事实标准,但是 Kubernetes 中日志采集相对困难,阿里云日志服务技术专家元乙即将在 QCon 北京 2019 分享Kubernetes 日志平台建设最佳实践,借此机会我们采访了元乙老师阿里云 Kubernetes 日志平台是如何建设的。背景阿里云日志服务是阿里集团针....

文章 2019-07-25 来自:开发者社区

干货分享 | 阿里PB级Kubernetes日志平台建设实践

嘉宾 | 元乙 随着近两年的发展,Kubernetes 早已成为容器编排领域的标准,现在非常多的企业基于 Kubernetes 构建整个微服务的开发、运维平台,而日志是其中必不可少的核心功能。 本文整理自阿里云日志服务技术专家元乙在 QCon 全球软件开发大会(北京站)2019 上的演讲,他的分享主要介绍了阿里超大规模下 Kubernetes 日志平台的架构实践,通过日志采集、处理、分析、监控.....

文章 2019-05-29 来自:开发者社区

阿里PB级Kubernetes日志平台建设实践

阿里PB级Kubernetes日志平台建设实践 QCon是由InfoQ主办的综合性技术盛会,每年在伦敦、北京、纽约、圣保罗、上海、旧金山召开。有幸参加这次QCon10周年大会,作为分享嘉宾在刘宇老师的运维专场发表了《阿里PB级Kubernetes日志平台建设实践》,现将PPT和文字稿整理下来,希望和更多的爱好者分享。          &...

阿里PB级Kubernetes日志平台建设实践

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

日志服务SLS

日志服务 (Simple Log Service,简称 SLS) 是云原生观测分析平台,为 Log/Metric/Trace 等数据提供大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分析、告警可视化与投递功能,全面提升研发、运维、运营和安全等场景数字化能力。

+关注