AI开源项目
阿里云开源的AI及大数据相关开源项目，如用于全自动分布式深度学习系统TePDist、NLP 开发和应用工具包EasyNLP等，您可以根据需要选择AI及大数据开源项目。PAI相关的开源项目信息请前往 阿里云大数据&AI开源项目。
TSDB开源生态概述
时间序列数据库TSDB以其强大的功能和兼容性，对于当前的一些开源解决方案实现了较好的适配。以下是TSDB与一些开源组件或开源项目对接的方法。Grafana如何对接TSDB Quick BI如何接入TSDB
合作伙伴及开源生态
（数据统计截止时间为 2021 月 7 月 22 日）SOFAStack 目前涵盖的开源项目有：主要项目：基于 Spring Boot 的研发框架 SOFABoot、生产级 Java RPC 框架 SOFARPC、分布式链路跟踪系统 SOFATracer、高可用服务注册中心 SOFARegistry。...
通过OSS SDK接入开源生态
使用Flink访问OSS 将HBase快照保存在OSS 将Kafka数据导入OSS 此系列文档由面向开源项目的托管平台GitHub提供。使用Logstash将日志导入OSS 使用Fluentd访问OSS 使用Thanos访问OSS 此文档由开源Thanos社区提供。将Elasticsearch的快照备份至...
创新、资质和荣誉
技术奖项 2019 年，荣获 OSCAR 尖峰开源技术创新奖（自主研发）2019 年，开源中国 GVP：SOFATracer 2019 年，码云 2019 年度 GVP 2019 年，中国开源云联盟中国优秀开源项目：二等奖 2019 年，SegmentFault 思否 2019 中国技术品牌影响力...
开源项目
开源项目扩展了Kubernetes集群的功能。本文介绍阿里云容器服务Kubernetes版主要使用的开源项目。项目分类 项目名称 项目简介 项目地址 参考文档 核心组件 Kubernetes Cloud Controller Manager for Alibaba Cloud 为Kubernetes应用创建负载...
如何监控开源Apache Kafka？
本文为您介绍监控开源Apache Kafka的解决方案。如果您需要监控开源Apache Kafka，请参见以下解决方案：Monitoring Kafka Monitoring Kafka performance metrics
基础术语
Log4j Log4j Apache Log4j，即 log for Java（Java 的日志），是 Apache 的一个开源项目，可以控制日志信息输送的目的地，也可以控制每一条日志的输出格式，通过定义每一条日志信息的级别，能够更加细致地控制日志的生成过程。Log4j 2 Log4...
Workflow商业化发布
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。产品文档 ...
什么是EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
Iceberg概述
类别 项目 子项目 开源Iceberg Iceberg商业版（阿里云）基础功能 ACID 无√历史版本回溯 无√Source和Sink集成 Batch√Streaming√高效数据过滤 无√数据变更 Schema Evolution 无√Partition Evolution 无√CopyOnWrite更新 无√...
示例项目使用说明
集群运行 开源项目运行示例如下：Spark SparkWordCount：spark-submit-class SparkWordCount examples-1.0-SNAPSHOT-shaded.jar<inputPath><outputPath>参数说明如下：参数 描述 inputPath 输入数据路径。outputPath 输出路径。...
产品优势
兼容开源：云消息队列 Kafka 版 100%兼容开源Apache Kafka，您可以直接使用开源Apache Kafka客户端与 云消息队列 Kafka 版 通讯。云消息队列 Kafka 版 目前支持0.10.x~2.6.x的开源版本。无缝迁移：云消息队列 Kafka 版 基于现有的开源...
EMR Workflow商业化公告
EMR Workflow介绍 EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行...
EMR旧版数据开发迁移公告
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。EMR ...
JindoFS实战演示
Flink高效sink写入OSS Flink高效sink写入OSS 2021-06-01 当您需要将流式数据写入OSS，或者需要在线分析数据时，可能会遇到的问题：开源Apache Flink还不支持直接写入OSS、Hadoop OSS SDK写入性能不满足需求。此时您可以使用JindoFS Flink ...
新功能发布记录
2023-06-07 Presto概述 通过命令行方式访问Presto 通过JDBC方式访问Presto 配置连接器 管理LDAP认证 2023年5月 功能名称 功能概述 发布时间 相关文档 EMR Workflow EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache ...
产品架构
从上图可以看出EMR由四部分组成：社区开源产品 集成Apache社区开源大数据组件，例如Hadoop、Hive和HBase，随着EMR版本更新，开源软件也会相应的升级，详情请参见 版本概述 下各版本的版本说明。注意 已经创建好的EMR集群不支持组件升级。...
产品概述
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。阿里云EMR提供了on ...
产品简介
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。产品介绍 阿里云EMR...
EMR Spark功能增强
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
数据上云工具
MaxCompute平台支持丰富的数据上传和下载工具（其中大部分工具已经在GitHub公开源代码，以开源社区的方式进行维护）。您可以根据实际应用场景，选择合适的工具进行数据的上传和下载。阿里云数加产品 MaxCompute客户端（Tunnel通道系列）...
开源对比
本文从稳定性、内核能力、治理能力以及使用习惯等方面，对比阿里云 云消息队列 Kafka 版 与开源Apache Kafka。稳定性 项目 云消息队列 Kafka 版 Apache Kafka 磁盘水位 磁盘写满删除旧数据。磁盘写满直接宕机。线程池隔离 读冷数据仍可以...
EMR-3.22.x版本说明
Kudu版本基于开源社区Apache Kudu1.10.0版本。OpenLDAP 新增组件，取代ApacheDS，ApacheDS下线。高可用。更新内容 组件 详细信息 JindoFileSystem 多种存储模式 Block模式：数据以Block形式存储在后端存储OSS上，本地Namespace服务维护...
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来...Hive语法 EMR产品最大程度的保持了开源社区的语法以及体验，在Hive语法上保持与开源社区Hive语法100%的兼容性。关于Apache Hive的更多介绍，请参见 Apache Hive官网。
概述
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
Paimon概述
Apache Paimon是一种流批统一的湖存储格式，支持高吞吐的写入和低延迟的查询。目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS...
Zeppelin常见问题
org.apache.zeppelin.interpreter.InterpreterException:java.io.IOException:Interpreter process is not running 解决方式：您可以参照以下命令解决该问题。rm-f/usr/lib/zeppelin-current/interpreter/zeppelin-interpreter-shaded-0.10...
免费体验Lindorm宽表性能&价格力
Lindorm宽表引擎支持千万级高并发吞吐，支持百PB级存储，吞吐性能是开源HBase（Apache HBase）的3~7倍，P99时延为开源HBase（Apache HBase）的1/10，平均故障恢复时间相比开源HBase（Apache HBase）提升10倍，支持冷热分离，压缩率比开源...
什么是云原生多模数据库Lindorm
支持 千万级高并发吞吐，支持 百PB级存储，吞吐性能是开源HBase（Apache HBase）的 3~7倍，P99时延为开源HBase（Apache HBase）的 1/10，平均故障恢复时间相比开源HBase（Apache HBase）提升 10倍，支持冷热分离，压缩率比开源HBase...
Superset（仅对存量用户开放）
因为E-MapReduce Druid也支持SQL，所以您可以通过Superset以两种方式访问E-MapReduce Druid，即Apache Druid原生查询语言和SQL方式。前提条件 已创建E-MapReduce（简称EMR）的Hadoop或Druid集群，并选择了Superset服务，详情请参见 创建...
数据服务集群
特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache Hadoop生态系统无缝集成，并且可以和Apache Phoenix搭配使用...
Sqoop概述
Sqoop是一款Apache社区的开源软件，支持在Hadoop生态软件和结构化数据集（例如数据库）之间进行高效的批量数据传输。背景信息 常见数据传输场景如下：将MySQL数据导入HDFS 将HDFS数据导入MySQL 将Hive数据导入MySQL 将MySQL数据导入Hive 将...
概述
Flink（VVR）是基于Apache Flink（以下简称Flink）开发的商业版，VVR引擎接口完全兼容Flink开源版本，且提供GeminiStateBackend等高增值功能，以提升作业性能及稳定性。背景信息 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布...
概述
JindoSDK：为EMR各种开源计算引擎提供统一的SDK，支持Java、C、C++和Python语言，提供多种访问和API接口，包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集：提供相关的工具集，例如Jindo tool和迁移工具Jindo DistCp。各种...
Catalog概述
外部数据：保存在外部数据源（例如，Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog StarRocks 2.3及以上版本支持Catalog功能，方便您轻松访问并查询存储在各类外部源的数据。当前StarRocks提供Internal Catalog和External ...
Hadoop DistCp介绍
具体报错：org.apache.hadoop.tools.CopyListing$AclsNotSupportedException:ACLs not supported for file system:hdfs:/xx.xx.xx.xx:8020 建议按照以下方式排查解决：检查旧集群是否有ACL规则要同步。如果有ACL规则要同步，DistCp参数后要...
JindoData概述
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括JindoFS存储系统（原JindoFS Block模式）、...
权限功能
参数 示例 hadoop.security.group.mapping org.apache.hadoop.security.CompositeGroupsMapping hadoop.security.group.mapping.providers shell4services,ad4users hadoop.security.group.mapping.providers.combined true hadoop....
- 产品推荐
- 这些文档可能帮助您