Python大数据spark 的相关内容

阿里云文档 2025-10-27

MaxCompute AI Function提供低代码、多引擎支持的预定义函数，简化大模型与机器学习推理在大数据场景中的应用。更加便捷的通过SQL或Python调用大模型和机器学习能力。

AI Function是MaxCompute提供的一组面向AI业务场景的预定义函数，将复杂的AI推理操作封装为简洁的SQL或Python算子。用户无需编写底层模型调用代码，即可通过标准SQL或MaxFrame（分布式Python引擎）直接调用大模型或机器学习模型，显著降低用户在数据处理、大数据分析等场景的AI使用门槛。

阿里云文档 2025-09-19

2025年9月17日发布的EMR Serverless Spark版本新增密文管理、Python运行环境配置、Kyuubi Gateway多实例支持及引擎性能优化等功能，提升安全性和任务效率。

本文为您介绍2025年09月17日发布的EMR Serverless Spark的功能变更。

阿里云文档 2025-07-14

在Notebook中使用Python第三方库

在Notebook中执行交互式PySpark任务时往往需要借助Python第三方库来增强数据处理和分析能力。本文将以三种方式为您介绍如何在Notebook中安装Python第三方库。

阿里云文档 2025-06-10

Shell类型节点运行Python脚本

DataWorks的Shell类型节点支持运行Python脚本。本文将为您介绍如何使用通用Shell节点或EMR Shell节点运行Python 2或Python 3脚本。

阿里云文档 2025-06-04

开放存储SDK示例-Python SDK

MaxCompute支持第三方引擎（如Spark on EMR、StarRocks、Presto、PAI和Hologres）通过SDK调用Storage API直接访问MaxCompute数据，本文为您介绍使用Python SDK访问MaxCompute的代码示例。

文章 2024-07-20 来自：开发者社区

Python与Apache Spark：实时AI的大数据引擎——Spark Streaming实战

讨如何将Python与Apache Spark结合起来，特别是利用Spark Streaming处理实时数据流中的AI任务。Spark Streaming是一个强大的工具，能够实现实时数据处理，非常适合大规模的数据流分析和机器学习任务。第一步：环境配置安装Spark：确保已经安装了Apache Spark，包...

文章 2023-12-26 来自：开发者社区

Python大数据之PySpark(三)使用Python语言开发Spark程序代码

使用Python语言开发Spark程序代码Spark Standalone的PySpark的搭建----bin/pyspark --master spark://node1:7077Spark StandaloneHA的搭建—Master的单点故障(node1，node2)，zk的leader选举机制，1-2min还原【scala版本的交互式界面】bin/spark-shell --master....

文章 2022-02-16 来自：开发者社区

哈，我自己翻译的小书，马上就完成了，是讲用python处理大数据框架hadoop,spark的

花了一些时间，但感觉很值得。 Big Data, MapReduce, Hadoop, and Spark with Python Master Big Data Analytics and Data Wrangling with MapReduce Fundamentals using Hadoop, Spark, and Python 作者: The LazyPr...

文章 2016-12-21 来自：开发者社区

小书翻译完成，分享啦--《用Python操作大数据[MapReduceHadoop和Spark]》

http://files.cnblogs.com/files/aguncn/%E7%94%A8Python%E6%93%8D%E4%BD%9C%E5%A4%A7%E6%95%B0%E6%8D%AE%5BMapReduceHadoop%E5%92%8CSpark%5D.pdf

共有9条

< 1 >

跳转至： GO

更新时间 2024-07-21 08:51:42

本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。

Python大数据相关内容

Python更多大数据相关

Python您可能感兴趣

产品推荐

{"optioninfo":{"dynamic":"ture","static":"true"},"simplifiedDisplay":"newEdition","newCard":[{"ifIcon":"icon","link":"https://www.aliyun.com/product/bigdata/odps/maxframe","icon":"odps","iconImg":"https://img.alicdn.com/imgextra/i1/O1CN01VpOKfU1tdExrKxFwN_!!6000000005924-2-tps-64-64.png","contentLink":"https://www.aliyun.com/product/bigdata/odps/maxframe","title":"分布式计算框架 MaxCompute MaxFrame","des":"MaxCompute MaxFrame 是阿里云自研分布式计算框架，支持 Python 编程接口并可直接使用 MaxCompute 计算资源及数据接口，与 MaxCompute Notebook、镜像管理等功能共同构成 MaxCompute 完整 Python 开发生态。","link1":"https://www.aliyun.com/product/bigdata/odps/maxframe","btn1":"产品详情","link2":"https://common-buy.aliyun.com/?spm=5176.29055221.J_2883378880.2.30e127f9beHKup&commodityCode=odps_cu_dp_cn","btn2":"免费资源","btn3":"产品文档","link3":"https://help.aliyun.com/zh/maxcompute/user-guide/preparations-1/","infoGroup":[{"infoName":"相关产品","infoContent":{"firstContentName":"MaxCompute","firstContentLink":"https://www.aliyun.com/product/odps"}}]}],"card":[],"search":[],"infoCard":[{"bannerUrl":"https://img.alicdn.com/tfs/TB1Xf81a3gP7K4jSZFqXXamhVXa-5169-974.jpg","bannerTitle":"mPaaS 小程序","bannerContent":"源自于支付宝小程序框架，亿级线上业务体量的锤炼，安全性媲美支付宝原生能力。<br>不仅面向自有 App 投放小程序，更可快速构建打包，覆盖支付宝、淘宝、钉钉等应用。","liveButtonName":"查看详情","liveButtonLink":"https://www.aliyun.com/product/mobilepaas/mpaas-miniprogram","contentTitle":"提供即开即用的端上体验","homePageLink":"https://common-buy.aliyun.com/?spm=5176.14673561.J_8751524360.2.56702709BussF3&commodityCode=mpaas_beta#/open","homePageName":"免费试用","linkGroup":[{"linkContent":"发布包大小极致优化，节省流量和存储。"},{"linkContent":"服务迭代不再受发版限制，快速发布，快速迭代。"},{"linkContent":"业务开发效率更加优秀，一次开发，多端运行。"}]}],"title":{"mainTitle":"网络智能服务 NIS","subtitle":"源自于支付宝小程序框架，亿级线上业务体量的锤炼，安全性媲美支付宝原生能力。不仅面向自有 App 投放小程序，更可快速构建打包，覆盖支付宝、淘宝、钉钉等应用。","linkUrl":"https://www.aliyun.com/product/mobilepaas/mpaas-miniprogram","btnText":"查看详情"},"visual":{"topbg":"https://img.alicdn.com/tfs/TB1bQuBIYH1gK0jSZFwXXc7aXXa-3840-740.gif","icon":"","textColor":"dark"},"dataList":[{"summary":"啦啦啦","author":"wuwu","linksUrl":"#"}],"sceneCard":[],"txt":[]}

{"$env":{"JSON":{}},"$page":{"env":"production"},"$context":{"optioninfo":{"dynamic":"ture","static":"true"},"simplifiedDisplay":"newEdition","newCard":[{"ifIcon":"icon","link":"https://www.aliyun.com/product/bigdata/odps/maxframe","icon":"odps","iconImg":"https://img.alicdn.com/imgextra/i1/O1CN01VpOKfU1tdExrKxFwN_!!6000000005924-2-tps-64-64.png","contentLink":"https://www.aliyun.com/product/bigdata/odps/maxframe","title":"分布式计算框架 MaxCompute MaxFrame","des":"MaxCompute MaxFrame 是阿里云自研分布式计算框架，支持 Python 编程接口并可直接使用 MaxCompute 计算资源及数据接口，与 MaxCompute Notebook、镜像管理等功能共同构成 MaxCompute 完整 Python 开发生态。","link1":"https://www.aliyun.com/product/bigdata/odps/maxframe","btn1":"产品详情","link2":"https://common-buy.aliyun.com/?spm=5176.29055221.J_2883378880.2.30e127f9beHKup&commodityCode=odps_cu_dp_cn","btn2":"免费资源","btn3":"产品文档","link3":"https://help.aliyun.com/zh/maxcompute/user-guide/preparations-1/","infoGroup":[{"infoName":"相关产品","infoContent":{"firstContentName":"MaxCompute","firstContentLink":"https://www.aliyun.com/product/odps"}}]}],"card":[],"search":[],"infoCard":[{"bannerUrl":"https://img.alicdn.com/tfs/TB1Xf81a3gP7K4jSZFqXXamhVXa-5169-974.jpg","bannerTitle":"mPaaS 小程序","bannerContent":"源自于支付宝小程序框架，亿级线上业务体量的锤炼，安全性媲美支付宝原生能力。<br>不仅面向自有 App 投放小程序，更可快速构建打包，覆盖支付宝、淘宝、钉钉等应用。","liveButtonName":"查看详情","liveButtonLink":"https://www.aliyun.com/product/mobilepaas/mpaas-miniprogram","contentTitle":"提供即开即用的端上体验","homePageLink":"https://common-buy.aliyun.com/?spm=5176.14673561.J_8751524360.2.56702709BussF3&commodityCode=mpaas_beta#/open","homePageName":"免费试用","linkGroup":[{"linkContent":"发布包大小极致优化，节省流量和存储。"},{"linkContent":"服务迭代不再受发版限制，快速发布，快速迭代。"},{"linkContent":"业务开发效率更加优秀，一次开发，多端运行。"}]}],"title":{"mainTitle":"网络智能服务 NIS","subtitle":"源自于支付宝小程序框架，亿级线上业务体量的锤炼，安全性媲美支付宝原生能力。不仅面向自有 App 投放小程序，更可快速构建打包，覆盖支付宝、淘宝、钉钉等应用。","linkUrl":"https://www.aliyun.com/product/mobilepaas/mpaas-miniprogram","btnText":"查看详情"},"visual":{"topbg":"https://img.alicdn.com/tfs/TB1bQuBIYH1gK0jSZFwXXc7aXXa-3840-740.gif","icon":"","textColor":"dark"},"dataList":[{"summary":"啦啦啦","author":"wuwu","linksUrl":"#"}],"sceneCard":[],"txt":[]}}

分布式计算框架 MaxCompute MaxFrame

MaxCompute MaxFrame 是阿里云自研分布式计算框架，支持 Python 编程接口并可直接使用 MaxCompute 计算资源及数据接口，与 MaxCompute Notebook、镜像管理等功能共同构成 MaxCompute 完整 Python 开发生态。

产品详情

免费资源

产品文档