常见问题排查

HADOOP_HOME/bin/hadoop classpath 确认执行作业的用户对jar包可读权限。如果hadoop fs命令可以成功运行,但是无法执行分析任务,请确认yarn等任务执行框架在配置完文件存储HDFS的SDK后进行了重启。使用yarn的环境时需要执行以下命令: ...

MapReduce作业提交

add table wc_in as test_table;add jar data\work.jar;jar-conf odps-mapred.xml-resources a.txt,test_table,work.jar-classpath data\work.jar:otherlib.jar-D import.filename=resource.txt org.alidata.odps.mr.examples.WordCount ...

编译打包

Gradle 插件稳定版和测试版(beta)两种版本。基于 Android Gradle Plugin 3.0.1 版本的 mPaaS Gradle 插件是稳定版,但要求使用 4.4 版本的 Gradle。classpath 'com.alipay.android:android-gradle-plugin:3.0.0.9.13基于 Android ...

阿里云高校特惠,助力学生创业梦!0元体验,快速入门云计算!

建个炫酷的简历网页,制作一个浪漫的表白网页,打造个人专属网盘,多种动手场景应用免费学!!!
广告

安装JDK

在系统变量中单击新建,添加JAVA_HOME、Path和CLASSPATH三个变量。若某个变量已存在,则选中该变量后单击编辑,修改其值。单击新建,设置JAVA_HOME变量值为C:\Program Files (x86)\Java\jdk1.8.0_91。单击新建,设置CLASSPATH变量值为.;...

设置Java开发环境

在本地开发环境测试Java应用,需准备好相关的开发环境。本文将介绍Java开发环境的设置步骤,并提供相关工具的安装链接。安装Java开发工具包 选择您的开发平台,参考以下方式安装JDK。Linux 在Oracle官网下载二进制安装包,例如jdk-8...

使用JindoFS SDK免密功能

SDK时,需要把环境中相关Jindo的包从环境中移除,如jboot.jar、smartdata-aliyun-jfs-*.jar。如果要使用Spark则需要把/opt/apps/spark-current/jars/里面的包也删除,从而可以正常使用。步骤一:创建实例RAM角色 使用云账号登录RAM的控制台...

创建ODPS MR节点

一个MR调用多个JAR资源时,classpath写法为-classpath xxxx1.jar,./xxxx2.jar,即两个路径之间用英文逗号(,)分隔。单击节点编辑区域右侧的调度配置,配置节点的调度属性,详情请参见基础属性。保存并提交节点。注意 您需要设置节点的重跑...

升级 Inside 接入方式为 AAR 接入方式

Inside 相关配置删除项目工程中的 mpaas_packages.json。如果之前使用 mPaaS 提供的 Gradle 插件,则需要删除相关配置。classpath 'com.alipay.android:android-gradle-plugin:3.0.0.9.13' // 删除这行配置信息在app 主工程根目录 下的 ...

使用JindoFS SDK免密功能

SDK时,需要把环境中相关Jindo的包从环境中移除,如jboot.jar、smartdata-aliyun-jfs-*.jar。如果要使用Spark则需要把/opt/apps/spark-current/jars/里面的包也删除,从而可以正常使用。步骤一:创建实例RAM角色 使用云账号登录RAM的控制台...

使用JindoFS SDK免密功能

SDK时,需要把环境中相关Jindo的包从环境中移除,如jboot.jar、smartdata-aliyun-jfs-*.jar。如果要使用Spark则需要把/opt/apps/spark-current/jars/里面的包也删除,从而可以正常使用。步骤一:创建实例RAM角色 使用云账号登录RAM的控制台...

使用JindoFS SDK免密功能

SDK时,需要把环境中相关Jindo的包从环境中移除,如jboot.jar、smartdata-aliyun-jfs-*.jar。如果要使用Spark则需要把/opt/apps/spark-current/jars/里面的包也删除,从而可以正常使用。步骤一:创建实例RAM角色 使用云账号登录RAM的控制台...

使用JindoFS SDK免密功能

SDK时,需要把环境中相关Jindo的包从环境中移除,如jboot.jar、smartdata-aliyun-jfs-*.jar。如果要使用Spark则需要把/opt/apps/spark-current/jars/里面的包也删除,从而可以正常使用。步骤一:创建实例RAM角色 使用云账号登录RAM的控制台...

使用JindoFS SDK免密功能

SDK时,需要把环境中相关Jindo的包从环境中移除,如jboot.jar、smartdata-aliyun-jfs-*.jar。如果要使用Spark则需要把/opt/apps/spark-current/jars/里面的包也删除,从而可以正常使用。步骤一:创建实例RAM角色 使用云账号登录RAM的控制台...

使用JindoFS SDK免密功能

SDK时,需要把环境中相关Jindo的包从环境中移除,如jboot.jar、smartdata-aliyun-jfs-*.jar。如果要使用Spark则需要把/opt/apps/spark-current/jars/里面的包也删除,从而可以正常使用。步骤一:创建实例RAM角色 使用云账号登录RAM的控制台...

创建ODPS MR节点

一个MR调用多个JAR资源时,classpath写法为-classpath xxxx1.jar,./xxxx2.jar,即两个路径之间用英文逗号(,)分隔。单击节点编辑区域右侧的调度配置,配置节点的调度属性,详情请参见基础属性。保存并提交节点。注意 您需要设置节点的重跑...

使用说明

configuration file-classpath<local_file_list>classpaths used to run mainClass-D<name>=<value>Property value pair,which will be used to run mainClass-local Run job in local mode-resources<resource_name_list>file/table ...

切换工作空间(Workspace)

应用开发过程中,常会更换应用环境信息或多套环境(即工作空间,Workspace)并行研发的需求。mPaaS 提供的工具可帮助您在开发过程中方便地进行环境切换。根据切换环境的需求不同,分为以下两种方式:静态环境切换动态环境切换静态环境...

访问Spark集群HDFS服务

HADOOP_CLASSPATH=$HADOOP_CLASSPATH:"hadoop conf路径"添加HADOOP_CONF_DIR变量到系统中export HADOOP_CONF_DIR="hadoop conf路径"将该配置加入到系统默认加载的配置文件中,如${HOME}/.bashrc或${HOME}/.bash_profile,然后source一下...

接入Web应用

启动参数支持classpath形式,例如:Dcsp.sentinel.url.clean.config.path=classpath:ahas-sentinel-url-clean.properties。结果验证登录AHAS控制台,在左侧导航栏选择流量防护>应用防护,若在应用防护页面出现该应用的资源卡片且数据上报...

通过CDH5 Hadoop读取和写入OSS数据

CLASSPATH=${CLASSPATH}:$HADOOP_YARN_HOME/${YARN_LIB_JARS_DIR}/*替换为CLASSPATH=$HADOOP_YARN_HOME/${YARN_DIR}/*:${CLASSPATH}CLASSPATH=$HADOOP_YARN_HOME/${YARN_LIB_JARS_DIR}/*:${CLASSPATH}。进入到Resurce Manager部署节点的${...

使用Fuse-DFS挂载文件存储HDFS

CLASSPATH=$CLASSPATH:`${HADOOP_HOME}/bin/hadoop classpath-glob` 执行以下命令使配置生效。source/etc/profile 使用Fuse-DFS 挂载文件存储HDFS至本地文件系统。在本地文件系统上创建文件夹。mkdir FuseDfs_test 使用fuse-dfs将文件存储...

JDBC

This would set ID as 102stmt.registerOutParameter(3, java.sql.Types.VARCHAR);stmt.registerOutParameter(4, java.sql.Types.INTEGER);Use execute method to run stored procedure.stmt.execute();Retrieve name with getXXX ...

Sleep示例

MapperBase {/*由于没有输入数据,map函数不会被执行,相关逻辑只能写在setup中。Overridepublic void setup(TaskContext context)throws IOException {try {/*获取jobconf中设置的sleep秒数,进行sleep。Thread.sleep(context.getJobConf...

同步EMR Kafka数据至OSS

如果配置Flume时修改了OSS缓存大小,需要使用-classpath参数传入OSS相关依赖和配置。flume-ng agent name a1-conf/etc/ecm/flume-conf-conf-file flume.properties-classpath opt/apps/extra-jars/*:/etc/ecm/flume-conf/hdfs-site.xml...

MapReduce功能开发

jar-resources WordCountDemo_1.0.0.jar-classpath WordCountDemo_1.0.0.jar com.alibaba.dataworks.mapred.WordCount wc_input wc_out 单击工具栏中的。单击节点编辑页面右侧的调度配置,即可进入调度配置页面,详情请参见调度配置模块。...

MapReduce错误码(ODPS-07CCCCX)

上下文相关说明MapReduce错误包含META(CCCC段为1000~1999)、PARSER(CCCC段为2000~2999)、INTERNAL(CCCC段为3000~3999)模块错误。具体错误码列表如下。错误码模块严重等级触发条件处理方法 ODPS-0710005:Exception occurred when ...

存储过程

用户通过指定存储过程的名字并给出参数(如果该存储过程带参数)来执行它。当前支持多种存储过程语言,如:PL/pgSQL-SQL 过程语言PL/Python-Python 过程语言PL/Java-Java 过程语言 用户可以根据情况灵活选择合适的过程语言创建相应的存储...

Ark 容器类加载机制

在查找单个资源时,会优先委托导出该资源的 Ark Plugin 加载,如果多个插件同时导出,则优先级高的插件优先导出;如果加载失败或者没有其他 Ark Plugin 导出,则尝试在本 Ark Plugin 查找加载。ClassLoader.getResources(String):Ark ...

使用教程

但有时外表的字段名和表上列名并不一致(比如处理大小写或字符集相关的问题),此时需要指定tablestore.columns.mapping。该参数为一个英文逗号分隔的字符串,每个分隔之间不能添加空格,每一项都是表上列名,顺序与外表字段一致。说明 ...

Java SDK报错:Invalid date format

原因Classpath中依赖的Joda-time版本过低,joda-time的低版本在Java 8上会出现此类错误。解决方案可以更新到ots-public的最新版本2.2.4来解决这个问题。如果您也依赖了joda-time库,需要提升到2.9。icmsDocProps={'productMethod':'created...

mPaaS 支持多 CPU 架构

10.1.68.21 或以上版本,并按照下文更新配置和回归相关功能。如果您的应用不需要支持 armeabi 以外的其他架构,您仍然可以正常更新 SDK 到 10.1.68.21 或以上版本,并且不需要进行其他修改。更新配置整体兼容性支持 aar、inside、portal&...

Portal 工程

build.gradle:工程根目录 build.gradle如下图所示,classpath 多了一个 com.alipay.android:android-gradle-plugin:2.1.3.2.7 插件:该插件中包含 Portal 插件,Portal 插件可以在打包过程中把各 Bundle 合并。合并 Bundle 的.jar合并 ...

SDK集成

在应用最外层build.gradle文件中添加classpath。buildscript {ext.kotlin_version= '1.3.37'dependencies { classpath org.jetbrains.kotlin:kotlin-gradle-plugin:$kotlin_version"/其它配置 }} 在对应Module中引入Kotlin插件。apply ...

配置Hue访问Presto服务

CLASSPATH=opt/apps/presto-jdbc/*:$CLASSPATH如下图所示:步骤二:加载Presto的JDBC驱动 进入Hue配置页面。登录阿里云E-MapReduce控制台。在顶部菜单栏处,根据实际情况选择地域和资源组。单击上方的集群管理页签。在集群管理页面,单击...

java_lang_NoClassDefFoundError

若类文件存在,但是存在不同的域中,此时含有包名的类在编译时需要指定classpath的路径,并且使用的时候指定包名全路径即可。参考文献:1.https://docs.oracle.com/javase/7/docs/api/java/lang/NoClassDefFoundError.html 2....

通过JAVA Agent接入

支持classpath形式,如-Dcsp.sentinel.url.clean.config.path=classpath:ahas-sentinel-url-clean.properties。Properties文件的格式:匹配前缀等于清理后的资源名称。目前仅支持前缀匹配模式。如以下示例的配置会针对/payment/ 开头的URL...

新建自定义源

ClassPath ClassPath的路径。选择目录 选择自定义数据源的目录。描述 实时数据源的描述。单击提交,提交新建的自定义源。根据提交备注对话框提示,填写备注信息。单击确定并提交,完成自定义源的提交。可选:发布自定义源至生产环境。如果...

MapReduce

配置完成之后,您可以直接在Eclipse中,单击运行按钮,不需要再单击 run as。报错BufferOverflowException,如何处理?问题现象:执行 MaxCompute MapReduce 时,报错如下。FAILED:ODPS-0123131:User defined function exception-Traceback...

Windows服务器中JDK的安装与配置

概述本文介绍Windows Server 2008系统下JDK...在已的Path变量后添加如下内容。JAVA_HOME%\bin;JAVA_HOME%jre/bin;系统显示类似如下。至此完成了JDK的环境配置,请在cmd命令行界面下输入java version,测试是否安装成功。适用于云服务器 ECS

解决DataWorks 10MB文件限制问题最佳实践

classpath test_mr.jar 减小JAR文件策略:在gateway上提交包含Main函数的Mapper和Reducer,不需要提交额外的三方依赖,其他都可以放在resources com.aliyun.odps.examples.mr.test_mr wc_in wc_out中。icmsDocProps={'productMethod':'...
< 1 2 3 4 5 >
共有5页 跳转至: GO

新品推荐

你可能感兴趣

热门推荐

切换为移动版

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折