AI 助理
备案控制台
文章 2022-09-29 来自：开发者社区

X-Pack Spark服务具有以下几个特点：

X-Pack Spark服务具有以下几个特点：数据工作台：支持交互式、作业管理、工作流、资源管理、元数据管理，从测试、开发、上线一站式开发体验。Spark多源connector：一键关联Cassandra、HBase、MongoDB、Redis、RDS等集群，免去调试的烦恼，更加便捷的分析其他数据库的数据。可维护性：支持小版本升级、监控、报警，免去Spark集群维护。离线数仓能力：支持一键归档在....

文章 2020-03-13 来自：开发者社区

Dataworks同步数据到X-pack Spark

简介本文主要介绍如何通过“Dataworks->数据集成->离线同步”把数据同步到X-pack Spark的hdfs上。同步数据到X-pack的hdfs后，就可以使用X-pack Spark对数据进行分析。本例通过把Dataworks的一张表同步到X-pack Spark的hadfs为例，介绍如何同步数据。前置条件X-pack Spark集群已经开通hdfs端口。需要联系X-pack....

文章 2019-11-06 来自：开发者社区

最佳实践 | RDS & POLARDB归档到X-Pack Spark计算

X-Pack Spark服务通过外部计算资源的方式，为Redis、Cassandra、MongoDB、HBase、RDS存储服务提供复杂分析、流式处理及入库、机器学习的能力，从而更好的解决用户数据处理相关场景问题。 RDS & POLARDB分表归档到X-Pack Spark步骤 一键关联POLARDB到Spark集群 一键关联主要是做好spark访问RDS & POLARDB.....

问答 2019-11-05 来自：开发者社区

X-Pack Spark如何在后台通过定时任务创建作业

目前我司某个表数据量每月新增三千万，每天都需要通过定时任务以SQL查询做数据统计，随着数据越来越多，已经接近数据库瓶颈，所以想把数据放到HBase，然后通过Spark来做数据统计。 请问阿里云Spark能通过后台API创建作业并获取结果吗？

文章 2019-10-28 来自：开发者社区

X-Pack Spark 访问OSS

简介 对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。本文主要介绍通过Spark操作OSS数据的常见方式,代码以Scala为例。本文的代码可以通过“数据工作台”提交。 前置条件 OSS已经创建bucket，假设名称为：test_spark 已创.....

文章 2019-10-15 来自：开发者社区

RDS&POLARDB归档到X-Pack Spark计算最佳实践

业务背景 对于RDS&POLARDB FOR MYSQL 有些用户场景会遇到，当一张的数据达到几千万时，你查询一次所花的时间会变多。这时候会采取水平分表的策略，水平拆分是将同一个表的数据进行分块保存到不同的数据库中，这些数据库中的表结构完全相同。本文主要介绍如何把这些水平分表的表归档到X-Pack Spark数仓，做统一的大数据计算。X-Pack Spark服务通过外部计算资源的方式，为....

文章 2019-09-04 来自：开发者社区

X-Pack Spark 监控指标详解

概述 本文主要介绍X-Pack Spark集群监控指标的查看方法。Spark集群对接了Ganglia和云监控。下面分别介绍两者的使用方法。 Ganglia Ganglia是一个分布式监控系统。 Ganglia 入口 打开Spark集群依次进入：数据库连接>UI访问>详细监控UI>Ganglia。如下图：注意：打开之前请先阅读UI访问说明。 Ganglia 界面介绍 本只做常用的....

问答 2019-08-14 来自：开发者社区

x-pack spark如何监控核心指标

spark集群有哪些核心指标可以监控，以及如何监控、streaming报警怎么监控：

文章 2019-07-25 来自：开发者社区

X-Pack Spark使用[FAQ]

概述 本文主要列出在使用X-Pack Spark的FAQ。 同步Dataworks数据到X-pack Spark hdfs 请参考：如何同步Dataworks数据到X-pack Spark hdfs。 Spark服务使用问题 1. X-Pack Spark如何监控核心指标 答：x-pack spark如何监控核心指标、X-Pack Spark 监控指标详解 2. 通过数据工作台上传资源文件慢答.....

文章 2019-06-22 来自：开发者社区

如何使用X-Pack Spark的YarnUI、SparkUI、Spark日志、任务运行状况的分析

概述 X-Pack Spark目前是通过Yarn管理资源。在提交Spark 任务后我们经常需要知道任务的运行状况，例如任务失败了在哪里看日志、怎么查看每个Executor的运行状态、每个task的运行状态，性能瓶颈点在哪里等信息。本文主要介绍如何使用X-Pack Spark的Yarn UI 和Spark Job UI来获取上述的信息。 Yarn 基础知识介绍 Yarn 是hadoop体系中的一个....

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

apache spark您可能感兴趣

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区，定期推送精彩案例，问答区数个 Spark 技术同学每日在线答疑，只为营造 Spark 技术交流氛围，欢迎加入！

+关注