问答 2024-07-15 来自:开发者社区

DataWorks最近有新增spark SQL相关支持,是需要重新初始化吗?有相关的操作文档吗?

DataWorks最近有新增spark SQL相关支持,是需要重新初始化吗?有相关的操作文档吗?

问答 2024-07-10 来自:开发者社区

云数据仓库ADB有没有airflow调度adb任务的相关文档我看官方的产品文档只有调度spark的

云数据仓库ADB有没有airflow调度adb任务的相关文档我看官方的产品文档只有调度spark的

问答 2024-05-28 来自:开发者社区

大数据计算MaxCompute Spark中ak信息的配置?有文档么?

大数据计算MaxCompute Spark中ak信息的配置?有文档么?

问答 2024-03-04 来自:开发者社区

大数据计算MaxCompute文档中有 spark 访问 OSS 部分。这个您知道是什么问题吗?

大数据计算MaxCompute文档中有 spark 访问 OSS 部分。我想实现的是 通过 spark 写入 hudi 文件到 oss ,再用 maxcomputer 进行读取外部表。但是我 spark 访问 oss 一直说我证书错误。这个您知道是什么问题吗?Exception in thread "main" com.aliyun.oss.ClientException: java.secur....

问答 2024-02-14 来自:开发者社区

Hologres文档上有会与spark类似的,具体哪些版本?

Hologres文档中提到了一种类似于Spark的特性,在JOIN操作时系统会自动将小表置于内存中进行广播。请问哪些版本的Hologres支持这一特性?若要从不支持该特性的版本升级到支持的版本,是否需要迁移数据,以及是否可以做到无缝升级?

文章 2023-12-26 来自:开发者社区

大数据开发岗面试复习30天冲刺 - 日积月累,每日五题【Day30】——Spark数据调优(文末附完整文档)

停不要往下滑了,默默想5min,看看这些面试题你都会吗?一个CPU core同一时间只能执行一个线程。而每个Executor进程上分配到的多个task,都是以每个task一条线程的方式,多线程并发运行的。一个应用提交的时候设置多大的内存?设置多少Core?设置几个Executor?以下答案仅供参考:./bin/spark-submit \ –master yarn-cluster \ –num-....

大数据开发岗面试复习30天冲刺 - 日积月累,每日五题【Day30】——Spark数据调优(文末附完整文档)
问答 2023-11-12 来自:开发者社区

容器服务ASK我这边准备把spark 跑在k8s,但是没看到好的文档。有这方面的资料吗?

容器服务ASK我这边准备把spark 跑在k8s,但是没看到好的文档。大佬有这方面的资料吗?

问答 2023-09-06 来自:开发者社区

spark 连接 dataworks有对应的文档不?

spark 连接 dataworks有对应的文档不?通过accesskey,odps spark

问答 2023-02-06 来自:开发者社区

DMS按照文档,加了Spark SQL任务将数据同步到OSS,执行失败,但是没有任何报错,为什么?

DMS这边按照文档,加了Spark SQL任务将数据同步到OSS,最终是执行失败了,但是没有任何报错,麻烦帮看下是什么原因? 我的sql:CREATE TABLE oss.fulu_push_order ( service_order_id string COMMENT '订单', pid string COMMENT '父订单', root_pid string COMM...

文章 2023-01-14 来自:开发者社区

Apache Spark 2.3 加入支持Native Kubernetes及新特性文档下载

在开始之前我们需要知道什么是KubernetesKubernetes(通常写成“k8s”)是最开始由google设计开发最后贡献给Cloud Native Computing Foundation的开源容器集群管理项目。它的设计目标是在主机集群之间提供一个能够自动化部署、可拓展、应用容器可运营的平台。Kubernetes通常结合docker容器工具工作,并且整合多个运行着docker容器的主机集....

Apache Spark 2.3 加入支持Native Kubernetes及新特性文档下载

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注