文章 2022-03-18 来自:开发者社区

降本增效——日志入湖OSS的存储格式选型

背景日志数据入湖中的场景多样,有做日志数据归档以低成本留存,有导出数据做BI或者报表,有的是用计算引擎进行计算分析。日志服务(SLS)集成了数据入湖投递到OSS中的功能,下面根据SLS现有的能力与用户使用的场景分析下入湖不同存储格式适合的场景。数据格式SLS数据投递新版目前支持JSON/CSV/ORC/Parquet四种格式。可粗略分为行存(Row-based)和列存(Columnar/Colu....

降本增效——日志入湖OSS的存储格式选型
文章 2022-03-16 来自:开发者社区

通过日志服务实现数据库MySQL入湖OSS实践

日志服务数据入湖日志服务(SLS)是云原生观测分析平台,为Log/Metric/Trace等数据提供大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分析、告警可视化与投递功能。阿里云提供了企业级的数据湖解决方案,存储层基于阿里云对象存储OSS构建。日志服务支持开箱即用的OSS投递入湖功能,实现数据的端到端的入湖。本文主要介绍如何借助日志服务将关系型数据库MySQL数据入湖和实践,并介绍....

通过日志服务实现数据库MySQL入湖OSS实践
高性能

应用日志数据归档

应用日志数据归档方案为企业提供云上日志数据的存储成本优化。提供了访问日志数据采集、自动压缩、持久化存储,满足企业的网站访问日志数据的归档需求,具有低成本、免运维、弹性扩容的优势。
高性能

跨阿里云账号采集日志

跨阿里云账号采集日志可以实现多个账号间的日志共享和集中管理,降低了管理成本和风险,提高了日志数据的安全性和可靠性。同时,跨账号日志采集还可以满足多租户场景下的日志管理需求,提高了系统的可扩展性。
高性能

日志安全审计与合规性评估

日志安全审计与合规性评估方案旨在通过集中化采集、存储、分析来自多个系统、应用和设备的日志数据,确保企业数据和系统安全性与合规性。企业合规团队可基于日志审计来输出合规信息,帮助企业优化安全态势,确保业务连续性和数据安全。
技术解决方案背景图
文章 2022-02-17 来自:开发者社区

操作审计日志分析实战一:使用 SQL 分析投递到 OSS 中的操作审计日志

简单了解原理(1)在操作审计创建跟踪可以将账号下发生的云上管控操作日志持续投递到SLS Logstore和OSS Bucket;(2)在数据湖分析(DLA)服务,可以通过简单的设置将操作日志从OSS Bucket导入DLA。DLA是一款基于Serverless的强大的交互式数据查询分析服务,能够便捷的对不同格式的数据源进行格式化整合并使用统一SQL查询分析。将OSS Bucket 中的操作日志导....

操作审计日志分析实战一:使用 SQL 分析投递到 OSS 中的操作审计日志
问答 2022-01-01 来自:开发者社区

迁移失败日志报“Connect to xxx.oss-cn-beijing-internal.ali

迁移失败日志报“Connect to xxx.oss-cn-beijing-internal.aliyuncs.com:80 timed out”错误,如何解决? Unable to execute HTTP request: Connect to xxx.oss-cn-beijing-internal.aliyuncs.com:80 timed out [ErrorCode]: Connect....

问答 2021-12-12 来自:开发者社区

Fink中配置工作空间下所有作业日志输出到OSS的步骤是什么?

Fink中配置工作空间下所有作业日志输出到OSS的步骤是什么?

问答 2021-12-12 来自:开发者社区

Fink中配置单个作业(新建作业)日志输出到OSS的步骤是什么?

Fink中配置单个作业(新建作业)日志输出到OSS的步骤是什么?

问答 2021-12-09 来自:开发者社区

日志服务SLS告警为OSS的访问提供了什么?

日志服务SLS告警为OSS的访问提供了什么?

问答 2021-12-02 来自:开发者社区

flink作业日志能否保存到oss?

我们使用k8s运行flink作业,作业日志存储在容器中,一旦作业挂了容器销毁了就没法获取出问题的日志,有什么办法可以将日志保存到oss上么?通过配置启动history server吗?*来自志愿者整理的flink邮件归档

文章 2021-10-22 来自:开发者社区

基于访问日志实现OSS监控

背景对象存储OSS是阿里云提供的云存储服务,能够以低成本为用户提供高可靠性的海量数据存储服务。作为基础服务,用户需要时刻关注OSS的使用状况,检测异常状态,从而及时作出响应。阿里云日志服务(SLS)是云原生观测分析平台,为Log/Metric/Trace等数据提供大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分析、告警可视化与投递功能,全面提升研发、运维、运营和安全等场景数字化能力。....

基于访问日志实现OSS监控
文章 2020-09-14 来自:开发者社区

如何将操作日志持续投递到 SLS/OSS

操作审计(ActionTrail)帮助您监控并记录阿里云账号的活动,包括通过阿里云控制台、OpenAPI、开发者工具对云上产品和服务的访问和使用行为,记录为操作日志。操作审计支持所有阿里云账号的免开通服务,默认为所有账号记录并存储近 90 天的日志。但在实际应用中,受法律法规和企业审计标准的要求,企业往往需要保留 180 天及以上的审计日志,还需要对这些日志进行复杂的行为分析、安全分析、运维监控....

如何将操作日志持续投递到 SLS/OSS

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

对象存储OSS

对象存储 OSS 是一款安全、稳定、高性价比、高性能的云存储服务,可以帮助各行业的客户在互联网应用、大数据分析、机器学习、数据归档等各种使用场景存储任意数量的数据,以及进行任意位置的访问,同时通过丰富的数据处理能力更便捷地使用数据。

+关注