NLP：TorchAcc提速BERT Base分布式训练
Import TorchAcc API TorchAcc在训练时会使用XLA Device，如果使用TorchAcc进行训练，则需要在main函数import处添加以下代码，具体请参考bert.py文件中35-44行代码：+if enable_torchacc_compiler():+import torchacc.torch_xla.core.xla_...
产品优势
提供多种编程语言和开发框架的SDK，并为每种语言提供专业的部署指南、简单的调试平台和丰富的场景化示例。方便开发者快速构建与阿里云相关的应用程序，包括Java、Python、Node.js、Go等。最佳实践 提供集成阿里云OpenAPI的最佳实践。基于...
SDK参考概述
使用前须知 不同语言的日志服务SDK具体实现细节会有所不同，但是它们都是日志服务API在不同语言上的封装，实现的功能也基本一致。具体包括如下几个方面：实现对日志服务API接口的统一封装，让您不需要关心具体的API请求构建和响应解析。...
PyMySQL 连接 OceanBase 数据库示例程序
示例如下：PS C:\Windows\system32>python-version Python 3.7.0 PS C:\Windows\system32>pip-version pip 22.3.1 from d:\python\python37\lib\site-packages\pip(python 3.7)步骤二：安装 PyMySQL 库 打开命令提示符或 PowerShell 终端，...
Web应用构建配置
将在Node构建环境（详见 构建环境）中，使用Node默认构建命令 npm-python=usr/alibaba/install/python-3.5.0/bin/python3-registry=https://registry.npmmirror.com install --productionL 进行构建，随后把构建输出./（源代码根目录）打为...
创建Python函数
本文将为您介绍如何创建Python函数。前提条件 已创建完成业务流程，详情请参见 创建并管理业务流程。背景信息 您可以在数据服务中创建函数、测试函数、发布函数，发布后的函数可被进一步关联至API，作为API的过滤器，对API的请求参数或返回...
备份加密
本文通过Python（版本为Python 3）代码实现这一操作。在命令行中执行 vi decrypt.py 打开vi编辑器。按下键盘上的 i 键开启编辑模式，输入如下内容后按下 ESC 键，输入:wq 保存并退出。import base64 import binascii plaintext='S14dTbl6i4...
什么是WebIDE
WebIDE打开时，第一次打开函数代码包，会自动初始化一个 git init，用于显示当前代码和线上代码的差异。当您单击一次 部署函数 后，会自动生成一个 commit，即实现终端和线上的代码完全一致（下图中 save function with codechecksum xxxx ...
Flink
PyFlink(%flink.pyflink)PyFlink是Flink on Zeppelin上Python语言的入口，Flink Interpreter内部会创建Python Shell。Python Shell内部会创建Flink的各种Environment，但是PyFlink里的各种Environment变量对应的Java变量都是Scala Shell...
do-while节点逻辑原理介绍
湖北省${dag.loopTimes} 1 2${dag.offset} 0 1 退出循环示例：End节点代码样例 End节点 支持使用ODPS SQL、Shell和Python（Python2）三种语言进行循环判断代码开发，以下为您示例三种不同语言下，典型的代码样例。使用ODPS SQL语言 SELECT ...
HLS标准加密
密钥管理服务KMS（Key Management Service）是一站式密钥管理和数据加密服务平台、一站式凭据安全管理平台，提供简单、可靠、安全、合规的数据加密保护和凭据管理能力。更多信息，请参见 什么是密钥管理服务。对象存储OSS（Object Storage ...
什么是WebIDE
WebIDE打开时，第一次打开函数代码包，会自动初始化一个 git init，用于显示当前代码和线上代码的差异。当您单击一次 部署函数 后，会自动生成一个 commit，即实现终端和线上的代码完全一致（下图中 save function with codechecksum xxxx ...
使用EAS Python SDK部署模型
本文为您介绍如何使用阿里云模型在线服务（EAS）的Python SDK代码将训练获得的模型部署为EAS在线服务，再使用EAS的预测SDK代码调用EAS服务，实现模型在线推理。背景信息 本文旨在介绍如何在Python环境中，通过SDK调用EAS接口来部署和调用...
快速开始
本文为您介绍如何安装Python环境并提供安装步骤、示例代码及API使用方法，帮助您快速上手构建云服务，实现API调用和服务集成。环境准备 环境要求 已下载并安装Python 3。Python 3下载地址 已下载代码编辑器，本文以PyCharm为例。PyCharm...
Python应用构建并部署ECS
一、背景 如果你 1.使用Python进行开发 2.制品最终会运行在ECS或者自有主机上 那么本文档可以帮助您实现研发流程的协同自动化。二、用户诉求 一般来说，用户使用主机部署场景如下：1.对源代码进行一定的质量检测，比如单元测试，代码扫描 2...
使用Python开发自定义Processor
threads indicates concurrency of processing runner=MyProcessor(worker_threads=10)runner.run()上述代码即为Python SDK的简单示例，代码中继承了 EAS 提供的基类BaseProcessor，实现了 initialize()和 process()函数。函数 功能描述 ...
基于异步任务调用GPU函数
Python 3 弹性实例 事件函数 实现原理简单概括如下图。前提条件 安装Serverless Devs和Docker 配置Serverless Devs 步骤一：部署成功回调函数 初始化项目。s init devsapp/start-fc-event-python3-d async-succ-callback 创建的项目目录...
凭据管家客户端
功能特性 凭据管家客户端具有以下功能特性：支持开发者在应用中快速集成凭据管家能力，一行代码读取凭据信息。封装凭据在应用中缓存和刷新的功能。封装API错误的重试机制，智能处理服务端错误。开放插件式设计模式，支持开发者自定义扩展...
使用OpenAPI示例
调用OpenAPI 本文以Python语言为例，为您介绍OpenAPI的调用方法。准备Python环境 先查看当前系统是否安装Python3版本。Linux和macOS系统 打开系统终端，输入 python3-version。系统回显Python版本号，表示已安装Python3。否则，执行下一步...
创建并使用PAI DLC节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的...
Python应用构建并部署K8s
一、背景 如果你 1.使用Python进行开发 2.使用容器镜像的制品形式进行交付 3.制品最终会运行在阿里云ACK或者其他K8s集群上 那么本文档可以帮助您实现研发流程的协同自动化。二、用户诉求 一般来说，使用K8s部署场景如下：1.对源代码进行...
管理自定义步骤
代码编写规范 自定义步骤的代码需基于appium引擎与python 3+语言开发。自定义步骤在Android/iOS平台的应用工程内为全局共享，因此自定义步骤的代码函数名不能重复。自定义步骤的代码须符合python类的语法与约定。例如：class className():...
Mixtral-8x7B稀疏大模型最佳实践
本方案旨在帮助大模型开发者快速上手灵骏智算平台，实现稀疏大语言模型Mixtral的高效分布式训练、三阶段指令微调、模型离线推理和在线服务部署等完整的开发流程。以Mixtral-8x7B模型为例，为您详细介绍该方案的开发流程。前提条件 本方案以...
求解器用户手册
命令行调用示例：Linux以及macOS下，假设用户根据安装文档将MindOpt安装到环境变量$MINDOPT_HOME指定目录：mindopt$MINDOPT_HOME/examples/data/afiro.mps Windows下 mindopt%MINDOPT_HOME%\examples\data\afiro.mps C/C++/C#Java/Python...
开源支持
使用Mars进行科学计算，不仅使大规模科学计算任务的实现从MapReduce上的数千行代码降低到Mars上的数行代码，更在性能上有大幅提升。Mars已经在Github上开源代码，您可以一起参与共建Mars。详情请参见GitHub开源代码 Mars。关于Mars的更多...
鉴权代码示例
说明 Python有Python2和Python3两个主要的版本，由于Python3不完全向下兼容Python2，因此下面分别给出了Python2和Python3的代码示例。如果URL中包含中文字符，请先对URL中的中文字符进行UrlEncode编码，然后再运行代码实现鉴权处理。由于...
使用自定义函数及Python第三方库
说明 由于字节码定义的差异，Python 3下使用新语言特性（例如 yield from）时，代码在使用Python 2.7的MaxCompute Worker上执行时会发生错误。因此，建议您在Python 3下使用MapReduce API编写生产作业前，先确认相关代码是否能正常执行。...
使用OpenAPI示例
调用OpenAPI 本文以Python语言为例，为您介绍OpenAPI的调用方法。准备Python环境 先查看当前系统是否安装Python3版本。Linux和macOS系统 打开系统终端，输入 python3-version。系统回显Python版本号，表示已安装Python3。否则，执行下一步...
SELECT TRANSFORM
一些简单的功能，例如AWK、Python、Perl、Shell都支持直接在命令中写脚本，而不需要专门编写脚本文件、上传资源等，开发过程更简单。对于复杂的功能，您可以上传脚本文件来执行，请参见 调用Python脚本使用示例、调用Java脚本使用示例。...
SELECT TRANSFORM
一些简单的功能，例如AWK、Python、Perl、Shell都支持直接在命令中写脚本，而不需要专门编写脚本文件、上传资源等，开发过程更简单。对于复杂的功能，您可以上传脚本文件来执行，请参见 调用Python脚本使用示例、调用Java脚本使用示例。...
分页显示查询分析结果
对于每个Offset，一次读取100行日志，如果读取失败，最多重复读取3次。for(int retry_time=0;retry_time<3;retry_time+){ GetLogsRequest req4=new GetLogsRequest(project,logstore,from,to,topic,query,log_offset,log_line,false);res4=...
通义千问Qwen全托管灵骏最佳实践
本方案旨在帮助大模型开发者快速上手灵骏智算平台，实现大语言模型（Qwen-7B、Qwen-14B和Qwen-72B）的高效分布式训练、三阶段指令微调、模型离线推理和在线服务部署等完整的开发流程。以Qwen-7B模型为例，为您详细介绍该方案的开发流程。...
HTTP请求处理程序（HTTP Handler）
在 函数详情 页面，单击 函数代码 页签，在代码编辑器中输入上述示例代码，然后选择 Terminal>New Terminal，在终端框中执行 pip install flask-t.，将Flask库安装到当前目录下，最后单击 部署代码。单击 测试函数。函数执行成功后，查看...
ODPS-0123144
Python 2环境 sys.stdout.write('your log')sys.stdout.flush()Python 3环境 print('your log',flush=True)如果实际计算量很大，MaxCompute UDF预计的运行时间很长，您可以通过调整如下参数避免超时报错。超时报错。参数 说明 set odps....
环境变量
您可以使用环境变量，在不修改代码的前提下灵活调整 FC 函数的行为。环境变量作为函数配置的一部分，以字符串键值对的方式存储，不同函数拥有独立的环境变量。本文介绍环境变量的基本信息、配置方式和示例代码以及如何在代码中使用环境变量...
代码仓库加密是如何实现的？
揭秘业界创新的代码仓库加密技术背后的知识。01/什么是代码加密？云端加密代码服务是云效团队的自研产品，是目前 国内率先支持代码加密 的托管服务，也是目前 世界范围内率先 基于原生Git实现加密方案的代码托管服务。通过在云端对托管在云...
管理流水线
运行时 支持版本 Node.js Node.js 12 Node.js 14：默认版本 Node.js 16 Node.js 18 Node.js 20 Java Java 8：默认版本 Java 11 Java 17 Python Python 2.7 Python 3.6 Python 3.7 Python 3.9：默认版本 Python 3.10 Golang Go 1.18：默认...
管理流水线
运行时 支持版本 Node.js Node.js 12 Node.js 14：默认版本 Node.js 16 Node.js 18 Node.js 20 Java Java 8：默认版本 Java 11 Java 17 Python Python 2.7 Python 3.6 Python 3.7 Python 3.9：默认版本 Python 3.10 Golang Go 1.18：默认...
SDK参考概述
} HTTP协议 商业版HTTP协议SDK（多语言推荐）Java SDK 版本说明 准备环境 代码示例 PHP SDK 版本说明 准备环境 代码示例 Go SDK 版本说明 准备环境 代码示例 Python SDK 版本说明 准备环境 代码示例 Node.js SDK 版本说明 准备环境 代码...
什么是云命令行？
云命令行（Cloud Shell）是网页版命令行工具。您可以在任意浏览器上运行云命令行管理阿里云资源。在云命令行启动时会自动为您分配一台Linux虚拟机供您免费使用。在该虚拟机上预装 python、java、nodejs 环境和 aliyun CLI、curl、ssh、...
- 产品推荐
- 这些文档可能帮助您