阿里云文档 2025-02-20

Notebook开发

本文为您介绍如何在阿里云EMR Serverless Spark环境中使用Notebook进行开发,包括创建、编辑、运行、发布、导入和导出Notebook,以及在Notebook之间共享代码的操作。

阿里云文档 2024-11-28

通过DSW提交Spark应用

交互式建模(DSW)是PAI产品的云端机器学习开发IDE,支持多种语言及开发环境。您可以在DSW实例中连接云原生数据仓库 AnalyticDB MySQL 版集群,并通过其集成的Notebook、Terminal等开发环境编写PySpark脚本,提交Spark作业。本文为您介绍通过DSW实例提交Spark作业的具体操作步骤。

阿里云文档 2024-10-15

快速上手Spark Submit开发

EMR Serverless Spark兼容spark-submit命令行参数,简化了任务执行流程。本文通过一个示例,为您演示如何进行Spark Submit开发,确保您能够快速上手。

阿里云文档 2024-09-14

快速上手Notebook开发

EMR Serverless Spark支持通过Notebook进行交互式开发。本文带您快速体验Notebook的创建、运行等操作。

阿里云文档 2024-09-14

PySpark批任务开发入门

您可以自行编写并构建包含业务逻辑的Python脚本,上传该脚本后,即可便捷地进行PySpark开发。本文通过一个示例,为您演示如何进行PySpark开发。

文章 2023-05-31 来自:开发者社区

使用IntelliJ Idea开发Spark Streaming流应用程序

未经许可,禁止以任何形式转载,若要引用,请标注链接地址全文共计2178字,阅读大概需要3分钟一、实验目的掌握IntelliJ Idea创建Spark Streaming流应用程序的过程。  熟悉在spark上提交运行Spark Streaming作业的方式。二、实验内容1、使用IntelliJ Idea创建Spark Streaming流应用程序。  2、打包Spark St....

使用IntelliJ Idea开发Spark Streaming流应用程序
文章 2023-05-31 来自:开发者社区

使用IntelliJ Idea开发Spark应用程序

未经许可,禁止以任何形式转载,若要引用,请标注链接地址全文共计3704字,阅读大概需要3分钟一、实验目的掌握使用IntelliJ Idea开发Spark应用程序的过程。二、实验内容1、使用IntelliJ Idea开发本地Spark应用程序。  2、部署分布式Spark应用程序。三、实验原理首先创建Spark应用程序,在本地运行并测试;然后修改Spark应用程序,访问分布式文件系统HD....

使用IntelliJ Idea开发Spark应用程序
问答 2019-10-29 来自:开发者社区

开发spark应用程序(和Flume-NG结合时)发布应用时可能出现。。。。

开发spark应用程序(和Flume-NG结合时)发布应用时可能出现org.jboss.netty.channel.ChannelException: Failed to bind to: /192.168.10.156:18800 15/11/27 10:33:44 ERROR ReceiverSupervisorImpl: Stopped receiver with error: org.j....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

Apache Spark 中国技术社区

阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!

+关注