管理自定义连接器
说明 WITH参数中的连接器取值为您自定义连接器JAR包中DynamicTableFactory的identifier参数取值，其他WITH参数及含义详情由您开发的自定义连接器决定。更新自定义连接器 说明 更新自定义连接器后，使用该连接器的运行中的作业不受影响。...
DataStream连接器设置方法
您可以通过以下任何一种方式来使用连接器：（推荐）上传连接器JAR包到实时计算控制台后，填写配置信息 直接将连接器作为项目依赖打进作业JAR包 重要 请使用我们在 支持的连接器 中指明提供DataStream API的连接器。如果某个连接器未注明...
JAR包如何添加参数？
添加参数 连接内置Nacos JAR包部署、JAR参数、JAR启动参数 JAR包部署如何添加参数，请参见 启动命令和参数。如果您的程序是Java微服务应用，需要在SAE侧选择注册中心（使用自建注册中心或使用SAE内置注册中心）来配置服务注册与发现功能。...
Spark SQL开发介绍
ADD JAR命令 用于加载Spark SQL运行时依赖的JAR包，例如UDF的JAR包，各类数据源连接器的JAR包等。目前支持JAR包路径为OSS路径，一般置于SQL语句的前面。每条 ADD JAR 命令指定一个OSS JAR包路径，JAR包路径的字符串不添加单引号和双引号，...
本地运行和调试包含连接器的作业
步骤二：配置运行所需要的ClassLoader JAR包 为了使Flink能够加载连接器的运行类，还需添加ClassLoader JAR包。首先下载 ververica-classloader-1.15-vvr-6.0-SNAPSHOT.jar 至本地。以Inteillij IDEA为例，对作业的本地运行配置进行修改。...
JAR作业开发
您可以使用以下任意一种方式来使用连接器：（推荐）上传连接器Uber JAR包到Flink开发控制台，DataStream作业通过provided引用 直接将连接器作为项目依赖打进作业JAR包 重要 请使用我们在 支持的连接器 中指明提供DataStream API的连接器。...
Spark SQL
ADD JAR命令 用于增加Spark SQL运行时，依赖的jar包，比如UDF的jar包，各类数据源连接器的Jar包等。Jar包目前支持OSS格式路径，一般置于整个SQL语句的最前面。每条add jar命令指定一个oss jar包路径，路径字符串不要加单引号和双引号，每条...
新建实时自定义源类型
JAR包 上传数据源类型连接器的JAR包。仅支持.jar（不区分大小写）为后缀的文件。文件大小不能超过 500MB。不能与已经存在的数据源的连接器或保留的连接器重复。文件中仅支持数据源级别的加密参数。说明 自定义实时连接器说明，详情请参见 ...
新建实时自定义源类型
JAR包 上传数据源类型连接器的JAR包。仅支持.jar（不区分大小写）为后缀的文件。文件大小不能超过 500MB。不能与已经存在的数据源的连接器或保留的连接器重复。文件中仅支持数据源级别的加密参数。说明 自定义实时连接器说明，详情请参见 ...
版本说明
2.8.25 2019-08-14 Spring Cloud原生支持分离为独立的JAR包。支持EDAS多租户环境中使用GTS。2.8.19 2019-07-17 原生支持Spring Cloud（REST Template方式）。2.8.18 2019-06-26 原生支持Dubbo。2.0.72 2018-03-01 支持在公网环境下使用GTS...
通过SkyWalking上报Java应用数据
若从/plugins 中移除某个插件的jar包，则表示插件不可用。官方已支持插件 官方支持的插件都已在/plugins 文件夹下。可选插件 Java Agent的插件支持可插拔。在Agent或第三方仓库的 optional-plugins 文件夹下提供了可选的插件。想要使用可选...
通过SkyWalking上报Java应用数据
若从/plugins 中移除某个插件的jar包，则表示插件不可用。官方已支持插件 官方支持的插件都已在/plugins 文件夹下。可选插件 Java Agent的插件支持可插拔。在Agent或第三方仓库的 optional-plugins 文件夹下提供了可选的插件。想要使用可选...
使用控制台单批发布应用（K8s）
上传JAR包 文件上传方式 选择 上传JAR包 时，单击 选择文件，上传JAR包。JAR包地址 文件上传方式 选择 JAR包地址 时，输入JAR包地址。说明 对于带认证签名的OSS文件访问URL，EDAS在部署时会缓存该文件用于之后的回滚、扩容等操作。版本 ...
打包、上传及注册
当您完成Java程序开发及调试后，您需要将Java程序打包为JAR包并以资源形式上传至MaxCompute项目后，才可以注册MaxCompute UDF，供后续在数据开发中调用。本文为您介绍在MaxCompute Studio中一键完成Java程序打包为JAR包、上传JAR包为...
Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS...
概述 本文主要介绍Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS路径是什么。详细信息 Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS路径是什么？介绍如下：所有用户上传的资源JAR包，以及安全包的资源，都是默认放在/tmp/dataphin...
Maven开发常见问题
本文介绍如何解决无法下载JAR包的问题。无法下载JAR包 如果出现本地开发环境无法找到需要依赖的JAR包，请按以下步骤排查解决。确认 pom.xml 文件中是否已经添加了Maven依赖。例如：<dependency><groupId>...
Dataphin中Shell运行JAR文件报错“bash:java:command ...
代码打成Jar包的时候，需要Jar包名称和main方法所在类名称保持一致；上传资源文件的时候，名称需要和Jar文件名称保持一致：2.需要注意java-jar命令是在Shell脚本中运行，而不是Spark任务。解决方案 Jar包名称、上传资源的时候名称和类名称...
安装第三方插件
前提条件 已获取第三方插件的JAR包。已创建集群，并且选择了Flume服务，详情请参见 创建集群。操作步骤 支持以下方式：方式一：修改 FLUME_CLASSPATH 参数来添加JAR包。在E-MapReduce控制台Flume服务的 配置 页面，在搜索框中输入参数 ...
2021-01-11版本
说明 如果JAR包超过200 MB，建议对JAR包进行拆分或者通过OSS上传。VVP主要缺陷修复 修复语法检查较慢的问题。VVR 2.1.3版本重大功能变更 VVR支持使用Session模式提交JAR包。自动调优 Source-Delay-Based 策略支持Kafka。增加Connector ...
获取 SDK
下载下列链接中的 JAR 包：httpasyncclient-4.1.3 httpclient httpcore httpcore-nio fastjson slf4j-api 下载 TSDB-Client 的 JAR 包（推荐选择最新版本）:请到 SDK 版本说明 中下载最新版本的 JAR 包。将这些 JAR 包放到工程下即可使用 ...
资源
上传JAR包的过程就是在MaxCompute上创建资源的过程，这个JAR包是MaxCompute资源的一种。MapReduce：您编写MapReduce程序后，将编译好的JAR包作为一种资源上传到MaxCompute。运行MapReduce作业时，MapReduce框架会自动下载这个JAR资源，获取...
SparkSQL UDF基础操作
使用Hive UDF 使用文件传输工具，上传生成的JAR包至集群任意目录（本文以test目录为例）。上传JAR包至HDFS或OSS（本文以HDFS为例）。通过SSH方式登录集群，详情请参见 登录集群。执行以下命令，上传JAR包到HDFS。hadoop fs-put/test/...
快速入门视频
构建.jar包命令：mvn install-Dmaven.test.skip=true Dockerfile文件内容：FROM maven:3.5-jdk-8 COPY target/iot-demo-0.0.1-SNAPSHOT.jar/iot-demo.jar EXPOSE 8080 ENTRYPOINT["/bin/bash","-c","java-jar/iot-demo.jar-server.port=...
准备工作
您可以通过以下两种方式获取 JAR 包：直接下载示例 JAR 包 下载 Web 工程 JAR 包。下载 Core 工程 JAR 包。使用本地工程获取 JAR 包 搭建本地环境。操作步骤，请参见 搭建环境。生成示例工程。可以通过以下两种方式生成可运行的 Demo 工程...
质量校验函数jar包源代码
在创建质量校验函数时，请先使用Java工具将文中示例代码打包成jar包。本文提供质量校验函数jar包源代码示例内容。示例代码 运行Java开发工具，生成一个文件名称为“PhoneNumberChecker”jar包。package com.aliyun.odps.udf.examples;...
SQL WorkBench/J
说明 首次使用SQL WorkBench/J时，需要添加JDBC驱动和Jar包，后续使用SQL WorkBench/J时可直接从步骤三开始。在 Manage drivers 页面，选择驱动为 MySQL，添加驱动Jar包，单击 OK。单击 File>Connect window，在 Select Connection Profile...
Notebook
jar包必须放在OSS上，多个jar包之间通过逗号分隔。通过设置spark.jars.packages 来设置依赖的package，格式：groupId:artifactId:version,多个package逗号分隔。Python package 需要通过Databricks数据洞察控制页面选择相应的python包。Q：...
02创建质量校验函数并物理化
已准备好质量校验函数jar包，具体操作，请参见 质量校验函数jar包源代码。操作步骤 登录 数据资源平台控制台。在页面左上角，选择>协同。在顶部菜单栏，单击 图标，选择目标工作组。在左侧导航栏，选择>字段标准设计。将鼠标悬停至 质量...
Java线程栈分析-CPU利用率持续升高
URLClassLoader里面有个ucp(URLClassPath)，它记录了当前URLClassLoader类加载器加载了哪些jar包，在类加载过程中，它会遍历所有jar包，然后逐个打开jar包并查找里面是否存在期望的类。再结合业务同学的反馈，大概有500多个jar包，所以根据...
Spark应用开发介绍
jars 否"jars":["oss:/<testBucketName>/path/to/jar","oss:/testBucketName/path/to/jar"]Spark应用依赖的JAR包，多个JAR包之间以英文逗号（,）分隔。需填写JAR包文件的绝对路径。JAR包在运行时会被加入到Driver和Executor JVM的ClassPath...
升级或降级运行时环境
使用JAR包部署的原生应用：Spring Cloud、Dubbo、普通Java Web或Spring MVC应用，未使用过Pandora或Pandora Boot，通过JAR包部署时，需要选择标准Java应用运行时环境。HSF应用：包括使用Pandora Boot开发的Spring Cloud应用和由Dubbo转换为...
自定义函数（UDF）
代码中的 myfunc 是UDF函数的名称，org.example.MyUDF 是 开发UDF 中创建的类，hdfs:/user/hive/warehouse/hiveudf-1.0-SNAPSHOT.jar 为上传JAR包到HDFS的路径。当出现以下信息时，表示创建成功。Added[/private/var/folders/2s/wzzsgpn13...
数据源支持概述
您只需要使用该JAR包，就可以完成Loghub、TableStore、HBase、JDBC和Redis数据源的实现以及相关的依赖包。Kafka和Druid数据源暂未在此JAR包中发布，后续会陆续加入，具体请参见 Release Notes。使用 streaming-sql 命令行进行交互式开发。...
SQL WorkBench/J（2.0版）
在 Manage drivers 页面，驱动选择 MySQL，并添加驱动jar包，单击 OK。单击 File>Connect window，在 Select Connection Profile 页面进行参数配置。参数 说明 连接名称 连接名字。Driver 选择 MySQL。URL 分析型数据库MySQL版的连接地址，...
使用控制台分批发布应用（K8s）
JAR包地址 文件上传方式 选择 JAR包地址 时，输入JAR包地址。说明 对于带认证签名的OSS文件访问URL，EDAS在部署时会缓存该文件用于之后的回滚、扩容等操作。构建仓库类型 说明 构建仓库类型 功能仅支持容器服务K8s集群下的Java、Tomcat、...
错误：“超时取消”问题排查
Java 构建 jar 包下载卡住 日志中出现 jar 包下载然后不继续往下执行。出现这种情况是由于 jar 包下载失败，首先判断使用 maven 源是否为国内镜像源，推荐使用 aliyun 提供的 mave镜像仓库 进行依赖下载加速。NodeJS 构建 Npm 包下载卡住 ...
如何手动升级 SOFABoot 管理的第三方 JAR
SOFABoot 遵从 SpringBoot 的包管理规范，采用 Maven 的 dependencyManagement 进行 JAR 包版本管理，对主要的第三方 JAR 都抽取了 Properties。Maven 支持子 pom 覆盖父 pom 的 Properties，可以使用此方式来按需自定义第三方 JAR 的版本...
创建EMR Spark节点
JAR包大于等于200MB时，无法通过本地上传的方式直接上传为DataWorks的资源，建议直接将JAR包存储在EMR的HDFS中，并记录下JAR包的存储路径。便于后续在DataWorks调度Spark任务时引用该路径。引用EMR JAR资源。JAR包存储在HDFS时，您可以直接...
Java UDF最佳实践
前提条件 下载 JAR包。背景信息 本教程基于下载的JAR包自定义的Java UDF函数，实现大写字母转换为小写字母。您也可以编写Java UDF代码，以实现更多的功能，请参见 IntelliJ IDEA Java UDF开发最佳实践 本教程中的JAR包的代码如下。package ...
Java UDF最佳实践
前提条件 下载 JAR包。背景信息 本教程基于下载的JAR包自定义的Java UDF函数，实现大写字母转换为小写字母。您也可以编写Java UDF代码，以实现更多的功能，请参见 IntelliJ IDEA Java UDF开发最佳实践。本教程中的JAR包的代码如下。package...
- 产品推荐
- 这些文档可能帮助您