Dataphin中创建Python读取MaxCompute物理表中数据
概述 本文描述如何在Dataphin中创建Python文件读取MaxCompute物理表中数据。详细信息 在Dataphin创建Shell文件，执行以下代码：pip install pyodps 2.在Dataphin创建Python文件，执行以下代码：from odps import ODPS o=ODPS('your-access-...
创建文件系统
文件系统实例是运行 文件存储HDFS版 的实体。在使用 文件存储HDFS版 前，您需要先创建文件系统实例。前提条件 已开通 文件存储HDFS版 服务。具体操作，请参见 开通文件存储HDFS版服务。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏...
MaxCompute UDF（Python）常见问题
本文为您介绍使用Python语言编写的MaxCompute UDF的常见问题。类或资源问题 调用MaxCompute UDF运行代码时的常见类或资源问题如下：问题现象一：运行报错描述为 function 'xxx' cannot be resolved。产生原因：原因一：调用MaxCompute UDF...
公测期间使用文件系统有哪些限制？
文件存储 HDFS 版 在公测期间会对单个文件系统的使用进行一定的限制，包括：单个用户可以创建的文件系统数量：1 单个文件系统最大容量：10 TB 单个文件系统目录+文件数最大数量：10万 单个文件系统最多包含挂载点数量：2 单个用户可以创建...
删除文件系统
您可以在 文件存储HDFS版 控制台删除某个已创建的文件系统。前提条件 已删除该文件系统下添加的挂载点。具体操作，请参见 删除挂载点。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏，选择地域。在左侧导航栏，选择 文件系统。在 文件...
克隆快照
您可以基于已有的快照克隆出新的数据库文件系统。控制台上克隆快照 在数据库文件存储控制台左侧导航栏点击 快照 进入 数据库文件系统快照 页面。在顶部菜单栏左上角处，选择地域。选择需要克隆的快照，在右侧 操作 列中单击 克隆。设置文件...
快速入门
操作视频 步骤一：创建文件系统 您可以通过 文件存储 HDFS 版 控制台创建文件系统或调用 CreateFileSystem 创建文件系统。登录 文件存储HDFS版控制台。在顶部菜单栏选择要创建文件系统实例的区域。例如 华东1（杭州）。在 概览 页面，单击 ...
管理挂载点
创建文件系统后，您需要为文件系统添加挂载点，然后通过挂载点方式挂载访问NAS文件系统。本文介绍如何在NAS控制台上管理挂载点，包括添加挂载点、查看挂载点地址、移除挂载点、查询ECS挂载目录等。前提条件 已创建文件系统。具体操作，请...
使用限制
文件系统限制 限制项 限制说明 每个账号在单个地域内可创建的文件系统数量 3个 单个文件系统可创建的挂载点数量 2个 单个文件系统同一时刻可挂载计算节点的数量 数量不限 单个文件系统的最大目录层级 1000层 单个文件系统最大文件或目录...
使用限制
单个文件的最大大小：32 TB。最大目录深度：16 级。目前仅支持在Linux平台上使用，并且使用4.9以上版本，fuse 2.92以上版本。其它不支持功能与接口：ioctl。DBFS性能存在上限值（详见下表）。当您把DBFS同时挂载到多台ECS实例时，该DBFS在...
元数据性能测试
非必选项>-bytesPerChecksum<文件的每个校验和的字节数.默认值为1.非必选项>-numberOfFiles<要创建的文件数.默认值为1.非必选项>-baseDir存储路径.默认是/benchmark/NNBench.非必选项>-readFileAfterOpen或false.如果为true,则读取文件并...
CreateFileSystem-创建文件系统
例如：快照的源文件系统版本是 1，需要创建版本 2 的文件系统，可以先通过快照创建一个文件系统 A，然后再创建一个满足版本 2 配置的文件系统 B，把文件系统 A 中的数据拷贝至文件系统 B，拷贝完成后把业务迁移到文件系统 B 即可。...
CreateFileSystem-创建文件系统
例如：快照的源文件系统版本是 1，需要创建版本 2 的文件系统，可以先通过快照创建一个文件系统 A，然后再创建一个满足版本 2 配置的文件系统 B，把文件系统 A 中的数据拷贝至文件系统 B，拷贝完成后把业务迁移到文件系统 B 即可。...
创建数据集：用于数据标注
在创建标注任务的过程中，需要选择数据集。本文为您介绍如何创建用于数据标注的数据集，以及数据集的具体格式要求。背景信息 使用 iTAG 进行数据标注前，您需要先将待标注的文件创建为数据集。PAI智能标注支持通过 通用模板 和 自定义模板 ...
挂载访问概述
挂载场景 通过ECS实例挂载CPFS文件系统 CPFS-POSIX客户端挂载文件系统（非Alibaba Cloud Linux）CPFS-POSIX客户端挂载文件系统（Alibaba Cloud Linux）CPFS-NFS客户端挂载文件系统 如果您要卸载CPFS文件系统，请参见 卸载文件系统。...
Spark应用开发介绍
Python应用参数 参数名称 是否必填 示例值 使用说明 pyFiles 是"pyFiles":["oss:/<testBucketName>/path/to/pyfiles","oss:/<testBucketName>/path/to/pyfiles"]PySpark依赖的Python文件，后缀可以是ZIP、PY和EGG。如果依赖多个Python文件...
极速型NAS
建议：建议在同一个极速型NAS目录下并发创建和删除文件的客户端数量在10个以内。场景二 现象：极速型NAS文件系统中存储了海量文件后，访问文件数较多的单个大目录下的文件会出现延迟增加的情况。在极端情况下，会误以为I/O无响应。建议：...
查询文件系统详情
您可以通过控制台查看当前已创建的文件系统详情，例如查看各地域文件系统资源使用量、文件系统性能、ECS实例挂载状态等信息。查询文件系统资源使用量 您可以通过以下方式快速查询当前阿里云账号下文件系统资源使用量，例如容量型或性能型...
创建混合云集群
您也可以分别单击 创建文件系统 和 创建挂载点 创建新的文件系统和挂载点。具体操作，请参见 创建文件系统 和 添加挂载点。挂载选项 挂载 通用型NAS 时，可选择挂载协议，支持使用NFS v3协议或NFS v4协议挂载。远程目录 要挂载的文件系统的...
协议服务概述
其他限制 协议服务为多客户端提供了统一名字空间的文件共享读写能力，但在多进程或多客户端并发写同一个文件的场景中（例如，并发写同一个日志文件），各进程分别维护了独立的文件描述符及写入位置等上下文信息，而NFSv3协议本身并没有提供...
配置NAS共享存储
阿里云文件存储NAS（Network Attached Storage）是面向阿里云ECS实例、E-HPC和ACK等计算节点的文件存储服务。阿里云NAS服务具有无缝集成、共享访问、安全控制等特性，非常适合跨多个ECS、E-HPC或ACK实例部署的应用程序访问相同数据来源的...
使用限制
通用容量型NAS：10 PiB 通用高级型NAS：1 PiB 通用性能型NAS：1 PiB 极速型NAS：256 TiB 单个文件系统同一时刻可以挂载计算节点的数量 1000个 单个文件的容量上限 32 TiB 单个文件支持的硬链接数量 511个 每个账号在单个地域内可创建的权限...
快速入门（CPFS-POSIX）
执行以下命令，赋予用户拥有auto_ssh.sh文件的执行权限。chmod+x auto_ssh.sh 执行以下命令，记录client.list中目标ECS实例的PASSWD。PASSWD='yourpassword' 说明 如果目标ECS实例的PASSWD不一致，则需要多次创建client.list并重复执行 ...
产品规格
文件系统实例性能 CPFS支持通过CPFS-POSIX客户端或CPFS-NFS客户端访问文件系统，以下列举了在相同文件系统容量下通过CPFS-POSIX客户端或CPFS-NFS客户端访问文件系统时，200 MB/s/TiB基线、100 MB/s/TiB基线和400 MB/s/TiB基线规格的CPFS...
SDK概述
弹性加速计算实例EAIS提供Python和Java的SDK来方便您通过API创建和管理资源。本文介绍弹性加速计算实例EAIS支持的SDK列表和获取地址。SDK简介 弹性加速计算实例EAIS SDK封装了 2019-06-24 版本的API，以访问密钥（AccessKey）识别调用者...
PythonArtifact
string Python lib 文件的 URL 路径。https://oss/bucket/additionlib.py additionalPythonArchives array 依赖的 Python archives 文件。string Python archive 文件的 URL 路径。https://oss/bucket/additionArchives.zip
通过Jaeger上报Python应用数据
normalizer=2.0.4 idna=3.2 jaeger-client=4.6.0 opentracing=2.4.0 requests=2.26.0 six=1.16.0 threadloop=1.0.2 thrift=0.13.0 tornado=6.1 urllib3=1.26.6 步骤二：创建Tracer对象 创建包含如下内容的Python文件。通过以下代码创建...
通过Jaeger上报Python应用数据
normalizer=2.0.4 idna=3.2 jaeger-client=4.6.0 opentracing=2.4.0 requests=2.26.0 six=1.16.0 threadloop=1.0.2 thrift=0.13.0 tornado=6.1 urllib3=1.26.6 步骤二：创建Tracer对象 创建包含如下内容的Python文件。通过以下代码创建...
脚本任务
本文介绍如何在创建任务时直接编写Shell、Python和Go脚本以便创建脚本任务。接入方式 脚本任务支持两种接入方式：依赖jar包嵌在应用进程中。Agent接入（非Java SDK方式）。创建方式 脚本任务在创建调度任务时编写脚本即可。更多信息，请...
使用Python操作OSS时出现“No module named oss2”...
解决方案 以Linux系统为例，在脚本文件的环境中，执行以下命令，安装python-devel开发包。sudo yum install-y python-devel 依次执行以下命令，安装oss2模块。sudo yum install-y epel-release sudo yum install-y python-pip pip install ...
查询文件
本文主要介绍如何使用Python SDK的SelectObject查询CSV和JSON文件。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。关于OSS支持的Region与Endpoint的对应关系，请...
极速型NAS扩容
创建极速型NAS文件系统时配置的容量即为您能使用的最大容量，当数据写满后，将导致数据无法写入。为防止因为数据无法写入影响业务使用，建议您在数据写满前扩容当前极速型NAS文件系统的配置容量。本文介绍如何扩容极速型NAS文件系统。前提...
常见问题
问题现象 创建CPFS后，返回文件系统列表页面查看刚创建的CPFS文件系统时，一直在创建中，一段时间后，再次查看却找不到刚创建的CPFS文件系统。可能原因 您创建时选择的交换机VSW使用了专有网络VPC的附加网段。CPFS不支持使用附加网段创建的...
在文件存储 HDFS 版上使用Apache HBase
本文主要介绍在 文件存储 HDFS 版 上使用Apache HBase的方法。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。已部署...
快速入门（PAI-DSW）
步骤一：创建文件系统 如果您已创建文件系统，请跳转至下一个步骤。登录 NAS控制台。在 概览 页面的正下方，单击 创建通用型NAS。在创建通用型NAS面板，配置以下参数。参数 说明 地域 必须与待挂载文件系统的服务在同一地域。本教程以华东1...
NAS存储卷概述
前提条件 使用NAS数据卷之前，您需要在 文件存储管理控制台 上创建文件系统，并在文件系统中添加挂载点。创建的NAS文件系统挂载点需要和您的集群位于同一VPC。例如，您的挂载点为 055f84ad83-ixxxx.cn-hangzhou.nas.aliyuncs.com 格式。...
MaxFrame概述
MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...
安装
如果您需要管理OSS存储空间、上传下载文件、管理数据、进行图片处理等，可以先安装OSS Python SDK。本文介绍如何安装OSS Python SDK。环境准备 安装 Python。OSS Python SDK适用于Python 2.6、2.7、3.3、3.4、3.5、3.6、3.7、3.8及以上版本...
创建文件系统
可通过POSIX协议 或NFS协议 在多个计算节点（ECS、容器、云桌面、PAI）中实现文件系统的共享访问。本文介绍如何 创建CPFS文件系统或 创建CPFS智算版文件系统。前提条件 已开通文件存储CPFS服务。首次登录 NAS控制台 时，根据页面提示开通...
ListFileSystems-批量获取文件系统详细信息
批量获取文件系统详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值...
- 产品推荐
- 这些文档可能帮助您