管理OSS输出组件
文件类型 系统支持的读取TXT和CSV格式的文件。列分隔符 读取的字段分隔符。如果您没有填写，则系统默认将字段分隔符填写为英文逗号（,）。文件编码 读取文件的编码配置。系统支持的文件编码包括UTF-8和GBK。null值 将要表示为空的字段填入...
管理SAP HANA输出组件
表 系统支持的读取TXT和格式的文件。加载策略 选择字段的加载策略。系统支持选择追加数据和覆盖数据的策略。追加数据策略下，当指主键、约束冲突时，系统会提示脏数据错误。覆盖数据策略下，当主键、约束冲突时，系统会先删除原数据，再...
管理OSS组件
文件类型 系统支持的读取TXT和格式的文件。列分隔符 读取的字段分隔符。如果您没有填写，则系统默认将字段分隔符填写为英文逗号（,）。文件编码 读取文件的编码配置。系统支持的文件编码包括UTF-8和GBK。null值 将要表示为空的字段填入文本...
Spark/Hive/HDFS使用JindoSDK访问OSS-HDFS服务
使用Spark访问OSS-HDFS服务使用Spark-shell访问OSS-HDFS#读取txt文件执行WordCount val text_file=sc.textFile("oss:/./data/WordCount.txt")val counts= text_file.flatMap(line=>line.split("")).map(word=>(word,1)).reduceByKey(_ ...
FTP Reader
支持且仅支持读取TXT的文件，并要求TXT中的schema为一张二维表。支持类CSV格式文件，自定义分隔符。支持多种类型数据读取（使用STRING表示）、支持列裁剪和列常量。支持递归读取、支持文件名过滤。支持文本压缩，现有压缩格式为gzip、bzip2...
检测攻击类型说明和防护建议
当使用该Class进行文件读写的时候，如果未对文件路径、文件内容进行限制，攻击者可能读取到系统敏感文件，也可能上传木马文件。请检查文件读取和上传是否正常。如果出现异常，请检查函数代码，并通过黑名单进行限制。恶意文件上传 对于网站...
应用防护
恶意文件读写Java提供RandomAccessFile，用于文件读写操作。当使用该Class进行文件读写的时候，如果未对文件路径、文件内容进行限制，攻击者可能读取到系统敏感文件，也可能上传木马文件。请检查文件读取和上传是否正常。如果出现异常，请...
技术栈使用指南
g 文件，默认读取 java_opts 文件。如果不存在 java_opts 文件，则相当于没有任何 JVM 参数。Shell 脚本 Hook 的配置Hook 配置需求SOFABoot 技术栈支持在应用代码中添加 hook 脚本。您可以通过添加 hook 脚本使应用在启动 Java 程序前执行...
使用JindoFuse访问OSS-HDFS服务
mnt/oss/dir1/hello.txt 读取文件：cat/mnt/oss/dir1/hello.txt 删除目录：rm-rf mnt/oss/dir1/取消挂载JindoFuse。您可以使用以下两种方式取消挂载JindoFuse：手动取消挂载JindoFuseumount 自动取消挂载JindoFuse-oauto_unmount使用以上...
JindoFuse支持JindoFSx
mnt/oss/dir1/hello.txt 读取文件cat/mnt/oss/dir1/hello.txt显示hello world。删除目录rm rf/mnt/oss/dir1/步骤四：卸载JindoFuse 如果您想卸载之前挂载的挂载点，可以使用如下命令。umount 您也可以使用-oauto_unmount参数自动卸载挂载点...
JindoFuse使用指南
hello world">/mnt/oss/dir1/hello.txt 读取文件cat/mnt/oss/dir1/hello.txt显示hello world 删除目录rm-rf/mnt/oss/dir1/卸载JindoFuse 若您想卸载之前挂载的挂载点，可以使用如下命令。umount 您也可以使用-oauto_unmount参数，自动卸载...
通过POSIX命令访问OSS/OSS-HDFS
mnt/oss/dir1/hello.txt 读取文件。cat/mnt/oss/dir1/hello.txt显示hello world。删除目录。rm rf/mnt/oss/dir1/卸载JindoFuse 可以使用如下命令卸载之前挂载的挂载点。umount 自动卸载JindoFuse 可以使用-oauto_unmount参数自动卸载挂载点...
Spark-1.x示例
本文为您介绍Spark-1.x依赖的配置以及Spark-1.x相关示例。配置Spark-1.x的依赖 通过MaxCompute提供的Spark客户端提交应用，需要在pom....MaxCompute Table读写示例（Java）实现MaxCompute Table读写的Java示例代码请参见JavaSparkSQL.java。
转移gRPC协议示例的应用流量
Java语言读取和写入Headers是通过两个拦截器分别实现的，因此Propaganda Headers无法在一个顺序的流程里实现，且考虑到并发因素，以及只有读取拦截器知道链路追踪的唯一ID，所以无法通过最直觉的缓存方式搭建两个拦截器的桥梁。Java语言的...
通过ASM实现gRPC链路追踪
Java语言读取和写入Headers是通过两个拦截器分别实现的，因此Propaganda Headers无法在一个顺序的流程里实现，且考虑到并发因素，以及只有读取拦截器知道链路追踪的唯一ID，所以无法通过最直觉的缓存方式搭建两个拦截器的桥梁。Java语言的...
DataHub Reader
DataHub Reader通过DataHub的Java SDK读取DataHub中的数据，具体使用的Java SDK版本，如下所示。com.aliyun.DataHub aliyun-sdk-DataHub 2.9.1 参数说明 参数 描述 是否必选 endpoint DataHub的endpoint。是 accessId 访问DataHub的用户...
如何操作Microsoft的word
',size=10,family='宋体',color=1)#读取内容 txt=doc.read()#打印内容 print(txt)#保存 doc.save(file=r'xxxxxxxx')#color 对照表#wdByAuthor=-1,#wdAuto=0,# wdNoHighlight=0,#wdBlack=1,#wdBlue=2,#wdTurquoise=3,# wdBrightGreen=4,#...
执行MaxCompute MapReduce时报错的解决方法
defined function exception-Traceback:java.nio.BufferOverflowException at java.nio.DirectByteBuffer.put(Unknown Source)at com.aliyun.odps.udf.impl.batch.TextBinary.put(TextBinary.java:35) 一次写入的数据太大，导致Buffer溢出...
如何操作WPS的word
',size=10,family='宋体',color=1)#读取内容 txt=doc.read()#打印内容 print(txt)#保存 doc.save(file=r'xxxxxxxx')#color 对照表#wdByAuthor=-1,#wdAuto=0,# wdNoHighlight=0,#wdBlack=1,#wdBlue=2,#wdTurquoise=3,# wdBrightGreen=4,#...
Kafka Reader
Kafka Reader通过Kafka服务的Java SDK从Kafka读取数据。背景信息Apache Kafka是一个快速、可扩展、高吞吐和可容错的分布式发布订阅消息系统。Kafka具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理的场景中使用。...
set-meta（管理文件元信息）
将examplebucket中exampleobject.txt的读写权限ACL更新为公共读（public-read）./ossutil64 set-meta oss:/examplebucket/exampleobject.txt X-Oss-Object-Acl:public-read update使用-update选项时仅更新目标Object中与指定Header匹配的元...
安装
Java示例中编写的代码有部分内容基于Java依赖包，用于读取文件以及字符串转换。您可按需在中引入以下内容：commons-io commons-io 2.4 commons-codec commons-codec 1.10 如果您需要检测本地文件或者二进制文件，请下载并在项目工程中引入...
概述
本文为您介绍使用Java和Scala语言开发的示例。下载示例工程 MaxCompute Spark提供了项目示例工程模板，建议您下载复制后直接在模板里进行开发。...Spark-SQL示例（Java）从MaxCompute中读取数据写入HBase 读写OSS文件 读MaxCompute写OSS
GetRow
Java SDK：读取单行数据 Go SDK：读取单行数据 Python SDK：读取单行数据 Node.js SDK：读取单行数据.NET SDK：读取单行数据 PHP SDK：读取单行数据 服务能力单元消耗 如果请求的行不存在，则消耗1读CU（读服务能力单元）。如果请求的行...
文件存储 CPFS
Storage）是阿里云完全托管、可扩展的并行文件存储系统，针对高性能计算场景的性能要求进行了深度优化，提供对数据毫秒级的访问和百万级IOPS的数据读写请求，可以用于AI深度训练、自动驾驶、基因计算、EDA仿真、石油勘探、气象分析、机器...
BatchGetRow
Java SDK：批量读取数据 Go SDK：批量读取数据 Python SDK：批量读取数据 Node.js SDK：批量读取数据.NET SDK：批量读取数据 PHP SDK：批量读取数据 服务能力单元消耗 如果本次操作整体失败，则不消耗任何服务能力单元。如果请求超时，结果...
Kafka通过DataWorks实时同步
单表实时同步 DataWorks数据集成通过Kafka服务的Java SDK从Kafka读取数据，再实时同步至Hologres。配置数据源在同步数据之前需要先配置输入数据源Kafka和输出数据源Hologres，详情请参见： 配置Kafka数据源。配置Hologres数据源。配置同步...
数据导入场景
3.0物理机版实时写入（写入后1秒内可查）方法：使用Java程序，读取本地TPC-H的多个分片文件，基于JDBC多线程导入，导入批次2000条一批，单行数据长度350 b。其中导入SQL为insert into lineitem values(.)。ElasticSearch实时写入方法：在...
CDC问题
CDC在做全量读到增量读的切换时，如果全量读是多并发，则在进入增量前要多等一个Checkpoint，来确保全量的数据已经写入到下游后再读取增量数据，从而保证数据的正确性。但是，如果您设置的Checkpoint间隔时间比较大，例如20分钟，则会导致...
Dataphin管道任务同步读取源表时，报错“java.sql....
问题描述 Dataphin管道任务同步读取源表时，报错“java.sql.SQLException:ORA-08103:对象不再存在”;源表是存在的。问题原因 管道任务同步读取源表时，另一个用户在全量更新该源表，即有一个进程truncate，insert动作，而同时有另一进程对...
前言
管理存储空间读写权限 生命周期 日志转存 防盗链 CORS 静态网站托管（镜像回源）删除存储空间 BucketTaggingSample.java 存储空间标签 BucketInventorySample.java 存储空间清单 BucketPolicySample.java 授权策略 BucketWormSample.java ...
客户端初始化
LindormTSDBClient是Lindorm时序引擎的Java客户端，用于读写Lindorm时序引擎的数据。使用Java& SDK发起Lindorm时序引擎读写请求前，您需要初始化一个LindormTSDBClient实例，并根据需要修改ClientOptions的默认配置项。新建...
set-acl（设置或修改ACL）
将目标存储空间examplebucket下指定版本ID为CAEQARiBgID8rumR2hYiIGUyOTAyZGY2MzU5MjQ5ZjlhYzQzZjNlYTAyZDE3*的exampleobject.txt文件的读写权限ACL设置为private./ossutil64 set-acl oss:/examplebucket/exampleobject.txt private-...
GetRange
Java SDK：范围读取数据 Go SDK：范围读取数据 Python SDK：范围读取数据 Node.js SDK：范围读取数据.NET SDK：范围读取数据 PHP SDK：范围读取数据 服务能力单元消耗 GetRange操作消耗读服务能力单元的数值为查询范围内所有行主键数据大小...
Java SDK使用示例
安装 Java 和 Maven示例程序依赖 Java 1.8 运行时环境以及 Maven，可以通过如下命令确认是否已经安装。mvn-version Apache Maven 3.5.3(3383c37e1f9e9b3bc3df5050c29c8aff9f295297;2018-02-25T03:49:05+08:00).Java version:1.8.0_161,...
常见问题
本文介绍使用OSS Java SDK的常见问题及解决方法。包冲突错误原因 使用OSS Java SDK时，报类似如下错误，说明工程中可能有包冲突。Exception in thread"main java.lang.NoClassDefFoundError:org/apache/http/ssl/TrustStrategy at ...
读取数据
Java SDK：读取数据 Go SDK：读取数据 Python SDK：读取数据 Node.js SDK：读取数据.NET SDK：读取数据 PHP SDK：读取数据 读取单行数据 调用GetRow接口读取一行数据。CU消耗说明 GetRow操作不消耗写CU，消耗的读CU为读取的行主键的数据...
Oracle2PolarDB：Polardb-O兼容性之fetchsize
at TEST.main(TEST.java:20)增大JVM内存执行以下命令，将输出结果保存到d.txt文件。java-Xmx256m Xms256m-Xmn32m-Xss16m TEST"postgres""wangt jdbc:postgresql:/localhost:5432/wangt">d.txt 执行以下命令，查看执行结果的d.txt文件。...
运行报错“java.io.IOException:Input is not in the....
问题描述 Dataphin管道任务将FTP数据同步到Hive，运行报错“java.io.IOException:Input is not in the gz format”。完整报错信息如下：2022-09-15 18:36:43.234[0-0-0-reader]INFO& FtpReader$Task-reading file: [/upload/DLOAD/dwa_busi...
Dataphin管道任务从Oracle...java.sql.SQLException:流
java.sql.SQLException:流已被关闭”、“java.lang.IndexOutOfBoundsException:Index:12, Size:12”。完整的日志信息如下：2022-04-25 09:11:02.946[0-0-0-reader]INFO& CommonRdbmsReader$Task-Get response ResultSet cost 2987 ms with ...
- 产品推荐
- 这些文档可能帮助您
