Spark-1.x示例
本文为您介绍Spark-1.x依赖的配置以及Spark-1.x相关示例。配置Spark-1.x的依赖 通过MaxCompute提供的Spark客户端提交应用，需要在 pom.xml 文件中添加以下依赖。spark.version>1.6.3</spark.version><cupid.sdk.version>3.3.3...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
迁移HDFS数据到OSS
在示例命令中配置AccessKey hadoop jar jindo-distcp-tool-${version}.jar-src/tmp/-dest oss:/examplebucket/-hadoopConf fs.oss.accessKeyId=LTAI*-hadoopConf fs.oss.accessKeySecret=KZo1*-hadoopConf fs.oss.endpoint=oss-...
Python内置资源包
使用示例 Hadoop计算引擎 通常在非Dataphin环境下，需要通过安装PyHive后，使用 import 导入 hive 包来连接操作Hive。示例代码如下：#加载包 from pyhive import hive#建立连接 conn=hive.connect(host='100.100.*.100',#HiveServer port=...
Python内置资源包
使用示例 Hadoop计算引擎 通常在非Dataphin环境下，需要通过安装PyHive后，使用 import 导入 hive 包来连接操作Hive。示例代码如下：#加载包 from pyhive import hive#建立连接 conn=hive.connect(host='100.100.*.100',#HiveServer port=...
使用MapReduce处理JindoFS上的数据
具体命令如下：hadoop jar/usr/lib/hadoop-current/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar terasort<in><out>替换输入和输出路径，即可处理JindoFS上的数据：hadoop jar/usr/lib/hadoop-current/share/hadoop/mapreduce/...
通过HDFS Shell连接并使用文件引擎
HDFS Shell是Hadoop分布式文件系统（HDFS）提供的命令行工具。Lindorm文件引擎100%兼容HDFS协议，您可以通过HDFS Shell工具交互式管理文件引擎中存储的文件，例如文件查询、文件删除、文件权限管理和修改文件名称等。本文介绍通过HDFS ...
开发ODPS MR任务
返回结果：+-+-+|key|cnt|+-+-+|package|1|pad|1|problem|1|project|1|val_a|2|val_pro|2|+-+-+编辑代码：进阶示例 更多场景的ODPS MR任务开发，请参见：MapOnly示例 多路输入输出示例 多任务示例 使用资源示例 分区表输入示例 后续步骤 当...
开发ODPS MR任务
返回结果：+-+-+|key|cnt|+-+-+|package|1|pad|1|problem|1|project|1|val_a|2|val_pro|2|+-+-+编辑代码：进阶示例 更多场景的ODPS MR任务开发，请参见：MapOnly示例 多路输入输出示例 多任务示例 使用资源示例 分区表输入示例 后续步骤 当...
自动推拉流功能
本文介绍自动推拉流功能的实现原理和示例代码。实现原理 说明 纯音频场景下，仅支持推拉音频流。音视频场景下，推拉设置的所有音视频流。示例代码 关闭自动推拉流API ARTC SDK提供关闭自动推拉流功能，客户App可以根据业务需求分别控制关闭...
配置Lindorm Spark节点
{"spark.hadoop.fs.oss.impl":"org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem"} configs参数配置：参数 说明 示例值 spark.hadoop.fs.oss.endpoint 作业文件所在OSS的Endpoint。说明 查看OSS的Endpoint，请参见 访问域名和数据中心...
实现ECI Pod可用区打散或亲和调度
在ACK Pro版集群或 ACK Serverless集群Pro版 中，您可以通过Kubernetes原生调度语义实现分布式任务的跨可用区打散，以达到高可用区部署的要求，或者通过Kubernetes原生调度语义实现分布式任务在指定可用区中的亲和性部署，以达到高性能部署...
迁移OSS-HDFS服务不同Bucket之间的数据
如果您使用的是自建ECS集群，需确保集群具备Hadoop2.7+或Hadoop3.x环境以及进行MapReduce作业的能力。通过自建ECS集群完成迁移任务前，您需要自行部署 JindoData（JindoData包含JindoSDK以及JindoFSx）。建议跟随版本迭代，下载最新版本。...
E-MapReduce数据迁移方案
利用ECS自建Hadoop 由于VPC实现用户专有网络之间的逻辑隔离，E-MapReduce建议使用VPC网络。经典网络与VPC网络打通 如果ECS自建Hadoop，需要通过ECS的 classiclink 的方式将经典网络和VPC网络打通，详情请参见 建立ClassicLink连接。VPC网络...
REST 服务快速入门
示例工程的 REST 实现 SOFAREST 的实现基于 SOFARPC，SOFARPC 的实现原理说明如下：在 2 个工程的 endpoint 模块中相同位置，提供相同的服务接口和实现，并通过注解发现服务。2 个工程通过相同接口实现关联。一个客户端，一个服务端，如果...
Jindo DistCp场景化使用指导
说明 如您在开源Hadoop集群环境中使用LZO压缩功能，则您需要安装gplcompression的native库和hadoop-lzo包，场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？如果您需要将Copy列表中...
Jindo DistCp场景化使用指导
说明 如您在开源Hadoop集群环境中使用LZO压缩功能，则您需要安装gplcompression的native库和hadoop-lzo包，场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？如果您需要将Copy列表中...
Jindo DistCp场景化使用指导
说明 如您在开源Hadoop集群环境中使用LZO压缩功能，则您需要安装gplcompression的native库和hadoop-lzo包，场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？如果您需要将Copy列表中...
Jindo DistCp场景化使用指导
说明 如您在开源Hadoop集群环境中使用LZO压缩功能，则您需要安装gplcompression的native库和hadoop-lzo包，场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？如果您需要将Copy列表中...
Jindo DistCp场景化使用指导
说明 如您在开源Hadoop集群环境中使用LZO压缩功能，则您需要安装gplcompression的native库和hadoop-lzo包，场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？如果您需要将Copy列表中...
Jindo DistCp场景化使用指导
说明 如您在开源Hadoop集群环境中使用LZO压缩功能，则您需要安装gplcompression的native库和hadoop-lzo包，场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？如果您需要将Copy列表中...
Jindo DistCp场景化使用指导
说明 如您在开源Hadoop集群环境中使用LZO压缩功能，则您需要安装gplcompression的native库和hadoop-lzo包，场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？如果您需要将Copy列表中...
Jindo DistCp场景化使用指导
说明 如您在开源Hadoop集群环境中使用LZO压缩功能，则您需要安装gplcompression的native库和hadoop-lzo包，场景十：如果需要把本次Copy中符合特定规则或者同一个父目录下的部分子目录作为Copy对象，该使用哪些参数？如果您需要将Copy列表中...
在非EMR集群中部署JindoSDK
vim/usr/local/hadoop/etc/hadoop/core-site.xml 将OSS/OSS-HDFS实现类配置到Hadoop的 core-site.xml 中。property><name>fs.AbstractFileSystem.oss.impl</name><value>...
非EMR集群接入OSS-HDFS服务快速入门
vim/usr/local/hadoop/etc/hadoop/core-site.xml 将JindoSDK DLS实现类配置到Hadoop的core-site.xml中。property><name>fs.AbstractFileSystem.oss.impl</name><value>...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
L4认证与鉴权
kubectl delete authorizationpolicy productpage-viewer 示例二：禁止访问productpage的9080端口 本示例主要验证Ztunnel代理能否正确执行目标端口鉴权逻辑。使用以下内容，创建productpage-viewer.yaml。apiVersion:security.istio.io/v1...
L4认证与鉴权
kubectl delete authorizationpolicy productpage-viewer 示例二：禁止访问productpage的9080端口 本示例主要验证Ztunnel代理能否正确执行目标端口鉴权逻辑。使用以下内容，创建productpage-viewer.yaml。apiVersion:security.istio.io/v1...
实现虚拟节点Pod可用区打散以及亲和调度
在 ACK Serverless集群Pro版 中，您可以通过Kubernetes原生调度语义实现分布式任务的跨可用区打散，以达到高可用区部署的要求，或者通过Kubernetes原生调度语义实现分布式任务在指定可用区中的亲和性部署，以达到高性能部署的要求。...
Hadoop
spark.hadoop.dfs.client.failover.proxy.provider.${nameservices}":"{您的failover proxy provider实现类全路径名称}","spark.hadoop.dfs.ha.namenodes.${nameservices}":"{您的nameservices所属namenode列表}","spark.hadoop.dfs....
实现ECI Pod可用区打散以及亲和调度
在 ACK集群Pro版 中，您可以通过Kubernetes原生调度语义实现分布式任务的跨可用区打散，以达到高可用区部署的要求，或者通过Kubernetes原生调度语义实现分布式任务在指定可用区中的亲和性部署，以达到高性能部署的要求。前提条件 已创建 ...
实现ECI Pod可用区打散以及亲和调度
在 ACK集群Pro版 中，您可以通过Kubernetes原生调度语义实现分布式任务的跨可用区打散，以达到高可用区部署的要求，或者通过Kubernetes原生调度语义实现分布式任务在指定可用区中的亲和性部署，以达到高性能部署的要求。前提条件 已创建 ...
动态加载UDF
因此EMR-3.39.1及之后版本和EMR-5.5.0及之后版本的阿里云EMR Trino实现了UDF的动态加载和更新。使用限制 EMR-3.39.1及后续版本、EMR-5.5.0及后续版本的Hadoop集群或选择了Trino的集群，支持UDF的动态加载和更新。注意事项 如果本文示例中的...
SOFARPC 快速入门
微服务（SOFAStack MicroService）主要是通过 SOFARPC 来实现服务的发布和引用，微服务中的其它模块也都围绕 SOFARPC 展开。本文以微服务本地开发到云端发布的整体流程为框架，让您了解 SOFARPC 如何在本地实现、如何发布到云端、如何...
官方公共层使用示例
示例一：基于Node.js 16和Puppeteer实现网页截图示例程序 Puppeteer是一个Node.js库，提供高级的API并通过DevTools协议来控制Chrome（或Chromium）。通俗来讲，Puppeteer是一个headless Chrome浏览器，支持实现很多自动化流程，例如网页...
函数操作
Java UDF：此名称为从顶层包名一直到实现UDF类的类名。Python UDF：此名称为 Python脚本名.类名。说明 Python脚本名为底层唯一标识的资源名。MaxCompute的资源名大小写不敏感，例如第一次上传资源时资源名为pyudf_test.py，后续在...
通过RootPolicy访问OSS-HDFS
如Hadoop的 core-site.xml 文件中有如下配置项：<configuration><property><name>fs.oss.endpoint</name><value><dls_endpoint></value></property></configuration>或<configuration><property><name>fs.oss.bucket.<bucket_name>....
SmartData使用说明（EMR-3.22.0~3.25.1版本）
简单示例：Shell命令 hadoop fs-ls jfs:/your-namespace/hadoop fs-mkdir jfs:/your-namespace/test-dir hadoop fs-put test.log jfs:/your-namespace/test-dir/hadoop fs-get jfs:/your-namespace/test-dir/test.log./MapReduce作业 ...
JindoDistCp常见问题
export HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS-Xmx4096m"Checksum报错 问题说明 在使用JindoDistCp的过程中报错，报错信息如下。Failed to get checksum store.解决方案 OSS-HDFS默认的Checksum算法是COMPOSITE_CRC，如果HDFS配置参数 ...
Iceberg数据源
Hadoop Catalog-非HA集群 CREATE CATALOG iceberg_hadoop PROPERTIES('type'='iceberg','iceberg.catalog.type'='hadoop','warehouse'='hdfs:/your-host:8020/dir/key');HA集群 CREATE CATALOG iceberg_hadoop_ha PROPERTIES('type'='...
- 产品推荐
- 这些文档可能帮助您