文件存储 HDFS

阿里云文件存储HDFS(Apsara File Storage for HDFS)是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。文件存储HDFS允许您就像在Hadoop分布式文件系统(Hadoop Distributed File System)中管理和访问数据。您无需对现有大数据分析...

通过控制台提交作业

关于如何导入作业文件,请参见导入OSS作业文件到集群中。在E-HPC控制台选择OSS中的作业文件如下所示:在使用OSS文件区域,单击选择文件,在弹出的选择文件对话框中,选择作业文件,单击确定。如果作业文件为zip格式、tar格式或者gzip格式的...

媒体处理常见问题

如果您收到预处理失败的错误,说明我们无法解码您的源文件,请提交工单告知我们详细信息。我们需要以下信息来协助诊断:阿里云账户ID、作业ID。是否支持加密或DRM?媒体处理服务支持数据加密,请参见视频加密。是否可以提供为我专用的转码...

文件存储 NAS

阿里云文件存储NAS是一个可共享访问,弹性扩展,高可靠,高性能的分布式文件系统。兼容POSIX文件接口,可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问,您无需修改应用程序,即可无缝迁移业务系统上云。

挂载访问FAQ

挂载CPFS文件系统时,返回“[FATAL]B:Could not connect to B via ssh”错误该如何处理如何清理已卸载ECS实例的残留配置信息?扩容 执行扩容操作时,返回“库存不足”该如何处理?CPFS文件系统扩容后,存量数据是否会自动平衡?在创建...

数据库文件存储

数据库文件存储(DBFS),是一款针对数据库场景的云原生共享文件存储服务。它基于共享存储架构设计,通过文件协议提供数据库定制功能,具备企业级存储特性。主要服务于云上自建数据库,基于传统SAN的应用等,为用户提供极致IO性能和高可用...

文件存储 CPFS

CPFS(Cloud Paralleled File System)是一种并行文件系统。CPFS的数据存储在集群中的多个数据节点,并可由多个客户端同时访问,从而能够为大型高性能计算机集群提供高IOPS、高吞吐、低时延的数据存储服务。

数据类型

FpFileDeleteJob 描述 指纹文件删除作业类型。参数 类型 描述 Id String 作业ID。PipelineId String 管道ID。Status String 作业状态。Code String 错误码。Message String 错误信息。UserData String 用户自定义数据。FpDBId String 指纹...

名词解释

作业输入(Input task)作业输入,媒体处理服务中作业输入是一个输入文件(Input file)。输入文件(Input file)输入文件,指您存储于OSS的媒体文件,本地文件上传至OSS后即可作为一个输入文件作业输出配置(Output specification)作业...

挂载访问FAQ

如何解决Windows客户端对NFS文件系统中的文件重命名时返回的invalid device错误?noresvport挂载参数 为什么要使用noresvport参数挂载NAS?如何检查并修改noresvport挂载参数问题?什么情况会引发网络切换或者后端服务的HA倒换?为什么需要...

术语表

术语 全称 中文 说明 OSS Object Storage Service 阿里云对象存储 媒体处理服务对用户存储于OSS的媒体文件进行转码,并将转码输出文件保存在MediaBucket中或者OutputBucket中。Bucket OSS Bucket OSS Bucket 遵守OSS Bucket定义,只能包括...

错误码概述

MaxCompute提供错误码机制帮助您快速定位错误类型、严重等级及产生错误的原因等信息,帮助您快速定位并解决问题。本文为您介绍MaxCompute的错误码格式及错误码列表。错误码格式 MaxCompute错误码编码规则如下。错误编号:通用描述-上下文...

作业提交

上传资源 Python API作业运行前,需要您按照以下步骤将Python作业文件或Python依赖上传到Flink全托管开发控制台。登录实时计算管理控制台。在Flink全托管页签,单击目标工作空间操作列下的控制台。在左侧导航栏,单击资源上传。单击上传...

分场景排错指引

作业上线后,作业的运维页面看不到拓扑图、瞬时值的指标或曲线指标,应该如何处理?新作业提交后,项目中现存作业出现异常的原因是什么?数据输出 为什么作业没有输出?为什么使用滑动窗口没有数据输出?作业延时 作业延时增加,应该如何...

Java SDK

如何通过MaxCompute Java SDK设置SQL的Flag?如何在MaxCompute的Java业务代码中执行SQL作业?如何使用Logview排查Java SDK报错?MaxCompute Java SDK执行作业卡顿,如何处理?问题现象 用户A使用MaxCompute Java SDK执行作业卡顿,没有...

Spark FAQ

常见问题如何处理Spark作业报错:The VirtualCluster's name is invalid or the VirtualCluster's is not in running state?如何处理Spark作业报错:User%s do not have right permission[*]to resource[*]?如何处理Spark作业报错:No ...

Spark

运行Spark作业时,发生JAR包版本冲突类错误如何处理?运行Spark作业时,发生ClassNotFound类错误如何处理?运行Spark作业时,报错The task is not in release range,如何处理?运行Spark作业时,报错You have NO privilege,如何处理...

数据类型

Active:表示管道内的作业会被调度给转码系统转码,Paused:表示管道暂停,作业不再会被调度到转码系统,管道内的所有作业状态维持在已提交状态,正在执行的作业不受影响,继续进行。NotifyConfig String MNS通知配置。AliyunMediaInfoJob ...

优化诊断

如何解决文件问题?作业诊断常见问题:Windows环境下双击客户端工具闪退是什么原因?执行并发插入操作报错,如何处理?运行作业时,报错ODPS-0130121是什么原因?创建的Shell任务执行失败,在ECS服务器执行显示成功,运维中心无法查看...

作业提交

上传JAR包 作业运行前,需要您按照以下步骤将JAR包、Python作业文件或Python依赖上传到Flink全托管开发控制台。说明 系统支持上传包的数量限制为200个,每个包大小限制为200 MB。如果JAR包超过200 MB,建议通过OSS上传,详情请参见如何在...

截图常见问题

本文说明了截图中的常见问题和对应的解决方法。提交截图任务如何区分同步异步 只要设置了Interval和Num中的任何一个参数,就表示异步模式,跟是否设置piplineId无关。详情请参见SnapshotConfig参数详情。指定截图时间点不是关键帧时如何...

常用错误

5连接失败检查网络连接-6写请求失败检查网络连接-7读请求失败检查网络连接-200配置文件错误检查配置文件-201URL错误检查配置文件中server.name配置是否正确500服务端内部异常请提工单解决400请求格式错误请检查安装包的完整性,重新安装后...

使用限制

产品规格限制 每个账号在单个地域内可创建的文件系统数量 20个 单个文件系统可创建挂载点的数量 通用型NAS:2个 极速型NAS:1个 单个文件系统最大文件数 10亿 单个文件系统最大目录层级 1000级 单个文件系统容量上限 容量型NAS:10 PiB ...

视频AI

媒体处理提供智能生产、媒体审核、视频DNA、智能标签等视频AI服务。本文为您介绍通过API实现上述功能的操作步骤。转码准备 在进行任务之前,需要进行一些设置确保功能能够正常使用,如已设置请忽略。参考前置条件完成所需设置。媒体处理...

作业和管道

概念介绍 作业 作业在媒体处理服务里面是一个抽象的概念,包含多种类型的作业,如转码作业、截图作业、媒体信息作业等。在一个作业中,包含3个关键信息:输入、输出和参数。输入和输出设置作业执行时的输入文件以及执行后的输出文件,参数...

作业开发

文件类型 流作业和批作业均支持以下文件类型:SQL JAR PYTHON 说明 VVP 2.4.1且VVR 3.0.1及以上版本支持批作业。部署目标 选择作业需要部署的集群,支持以下两种集群模式:Per-Job集群(默认):适用于占用资源比较大或持续稳定运行的作业...

SubmitJob

接口说明 在集群提交作业前,请确认上传作业文件(如job.sh)到集群。具体操作,请参见CreateJobFile。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求...

作业和管道

示意图:概念解释:作业 作业在媒体处理服务里面是一个抽象的概念,包含多种类型的作业:转码作业、截图作业、媒体信息作业等。在一个作业中,包含3个关键信息:输入、输出和参数。输入和输出设定作业执行时的输入文件以及执行后的输出文件...

Flink JAR作业快速入门

文件类型 流作业/JAR 流作业和批作业均支持以下文件类型:SQL JAR PYTHON 部署目标 vvp-workload 选择作业需要部署的集群名称。Flink全托管支持Per-Job集群和Session集群两种集群模式。两种集群模式的区别说明,请参见配置Session集群。...

CreateFileSystem

例如:快照的源文件系统版本是1,需要创建版本2的文件系统,可以先通过快照创建一个文件系统A,然后再创建一个满足版本2配置的文件系统B,把文件系统A中的数据拷贝至文件系统B,拷贝完成后把业务迁移到文件系统B即可。VpcId String 否 无 ...

ACID语义

作业类型 INSERT OVERWRITE/TRUNCATE作业(后结束)INSERT INTO作业(后结束)UPDATE/DELETE作业(后结束)MERGE小文件作业(后结束)INSERT OVERWRITE/TRUNCATE作业(先结束)先、后结束的作业都会执行成功。INSERT OVERWRITE/TRUNCATE...

通过Logview诊断慢作业

如何解决文件问题?调整并行度:MaxCompute的并行度会根据输入的数据量和作业复杂度自动推测执行,一般不需要调节,理想情况并行度越大速度处理越快。但是对于包年包月资源组,资源组可能会占满,导致作业都在等待资源,作业运行变慢。您...

创建和执行Spark作业

本文介绍如何在数据湖分析控制台创建和执行Spark作业。准备事项 您需要在提交作业之前先创建虚拟集群,具体请参考创建虚拟集群。说明 创建虚拟集群时注意选择引擎类型为Spark。如果您是子账号登录,需要配置子账号提交作业的权限,具体请...

CreateFileSystem

例如:快照的源文件系统版本是1,需要创建版本2的文件系统,可以先通过快照创建一个文件系统A,然后再创建一个满足版本2配置的文件系统B,把文件系统A中的数据拷贝至文件系统B,拷贝完成后把业务迁移到文件系统B即可。VpcId String 否 无 ...

ResizeDbfs

调用ResizeDbfs扩容一个数据库文件系统。扩容后的数据库文件系统容量必须大于扩容前的容量。数据库文件系统的状态必须为已挂载(attached)。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI ...

DeleteFileSystem

调用DeleteFileSystem接口删除已有的文件系统。接口说明 仅当文件系统的挂载点数目为0时,支持删除文件系统实例。文件系统实例一旦删除,数据将不可恢复,请谨慎操作。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的...

管理文件系统

本文介绍如何在阿里云NAS控制台上创建CPFS文件系统、查看文件系统列表、查看文件系统详情、扩容文件系统、删除文件系统等操作。前提条件 已开通CPFS服务。首次登录NAS控制台时,根据页面提示开通CPFS服务。已在需要创建文件系统的地域创建...

DeleteDbfs

调用DeleteDbfs释放一个按量付费的数据库文件系统。调用该接口时,您需要注意:释放数据库文件系统时,数据库文件系统的状态必须为:待挂载(Unattached)。如果指定ID的数据库文件系统不存在,请求将被忽略。调试 您可以在OpenAPI ...

CreateJobFile

调用CreateJobFile创建一个作业文件。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...

AttachDbfs

调用AttachDbfs为一台ECS实例挂载一个按量付费的数据库文件系统。ECS实例和数据库文件系统必须在同一个可用区内。调用该接口时,您需要注意:数据库文件系统的状态必须为待挂载(Unattached)。挂载数据库文件系统时,目标ECS实例必须处于...
< 1 2 3 4 ... 200 >
跳转至: GO

新品推荐

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折